IT源码网

Ubuntu1804 安装hadoop2.10

mq0036 2023年04月19日 程序员 51 0

1. 下载hadoop2.10

从官网下载hadoop2.10的压缩包,下载地址为:https://hadoop.apache.org/releases.html

2. 解压hadoop2.10

将下载的压缩包解压到指定目录,例如:/usr/local/hadoop-2.10.0

 
sudo tar -zxvf hadoop-2.10.0.tar.gz -C /usr/local/ 

3. 配置环境变量

编辑/etc/profile文件,添加以下内容:

 
export HADOOP_HOME=/usr/local/hadoop-2.10.0 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

使环境变量生效:

 
source /etc/profile 

4. 配置hadoop

进入hadoop的安装目录,编辑etc/hadoop/hadoop-env.sh文件,设置JAVA_HOME环境变量:

 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 

编辑etc/hadoop/core-site.xml文件,添加以下内容:

 

   
    
    
        
    
     fs.defaultFS
     
        
    
     hdfs://localhost:9000
     
    
    

   

编辑etc/hadoop/hdfs-site.xml文件,添加以下内容:

 

   
    
    
        
    
     dfs.replication
     
        
    
     1
     
    
    
    
    
        
    
     dfs.namenode.name.dir
     
        
    
     /usr/local/hadoop-2.10.0/data/dfs/namenode
     
    
    
    
    
        
    
     dfs.datanode.data.dir
     
        
    
     /usr/local/hadoop-2.10.0/data/dfs/datanode
     
    
    

   

编辑etc/hadoop/mapred-site.xml文件,添加以下内容:

 

   
    
    
        
    
     mapreduce.framework.name
     
        
    
     yarn
     
    
    

   

编辑etc/hadoop/yarn-site.xml文件,添加以下内容:

 

   
    
    
        
    
     yarn.nodemanager.aux-services
     
        
    
     mapreduce_shuffle
     
    
    
    
    
        
    
     yarn.nodemanager.aux-services.mapreduce.shuffle.class
     
        
    
     org.apache.hadoop.mapred.ShuffleHandler
     
    
    

   

5. 格式化hdfs

执行以下命令格式化hdfs:

 
hdfs namenode -format 

6. 启动hadoop

执行以下命令启动hadoop:

 
start-all.sh 

7. 验证hadoop

执行以下命令验证hadoop是否正常运行:

 
jps 

如果输出以下内容,则表示hadoop已经正常启动:

 
NameNode 
SecondaryNameNode 
DataNode 
ResourceManager 
NodeManager 
Jps 
)


评论关闭
IT源码网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!