1. 下载hadoop2.10
从官网下载hadoop2.10的压缩包,下载地址为:https://hadoop.apache.org/releases.html
2. 解压hadoop2.10
将下载的压缩包解压到指定目录,例如:/usr/local/hadoop-2.10.0
sudo tar -zxvf hadoop-2.10.0.tar.gz -C /usr/local/
3. 配置环境变量
编辑/etc/profile文件,添加以下内容:
export HADOOP_HOME=/usr/local/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使环境变量生效:
source /etc/profile
4. 配置hadoop
进入hadoop的安装目录,编辑etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME环境变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
编辑etc/hadoop/core-site.xml文件,添加以下内容:
fs.defaultFS hdfs://localhost:9000
编辑etc/hadoop/hdfs-site.xml文件,添加以下内容:
dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop-2.10.0/data/dfs/namenode dfs.datanode.data.dir /usr/local/hadoop-2.10.0/data/dfs/datanode
编辑etc/hadoop/mapred-site.xml文件,添加以下内容:
mapreduce.framework.name yarn
编辑etc/hadoop/yarn-site.xml文件,添加以下内容:
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
5. 格式化hdfs
执行以下命令格式化hdfs:
hdfs namenode -format
6. 启动hadoop
执行以下命令启动hadoop:
start-all.sh
7. 验证hadoop
执行以下命令验证hadoop是否正常运行:
jps
如果输出以下内容,则表示hadoop已经正常启动:
NameNode SecondaryNameNode DataNode ResourceManager NodeManager Jps)