Appache hadoop

版本:2.77   jdk:1.8  系统:centos7

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

注意不要在root下解压,要单独建一个用户安装hadoop及其组件。

一、先查看系统是否有自带j

  #dk: rpm -qa|grep java

  通常是如下4个包:

  rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

  rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

 步骤三:验证一下是还有jdk

  #rpm -qa|grep java

  #rpm -qa | grep jdk

  #rpm -qa | grep gc

  #java -version

  没有内容证明已经卸载干净了

二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft

  在soft下:

  tar –zxvf jdk-7u80-linux-x64.tar.gz

  tar -xzvf hadoop-2.7.3.tar.gz

  建立符号链接:

  ln –s jkd文件名 jdk  

  ln –s hadoop-2.7.3 hadoop

  配置hadoop&jdk环境变量:

  su root

  vi /etc/profile

  hadoop环境搭建-伪分布模式 Hadoop 第1张

  使环境变量即刻生效

  source /etc/profile

  回到hadoop用户,进入任意目录下,测试是否ok

  java –version

   hadoop环境搭建-伪分布模式 Hadoop 第2张

  hadoop version

   hadoop环境搭建-伪分布模式 Hadoop 第3张

配置hadoop:

伪分布模式:

 hadoop环境搭建-伪分布模式 Hadoop 第4张

编辑:core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

      <property>

            <name>fs.defaultFS</name>

            <value>hdfs://localhost/</value>

      </property>

</configuration>

hadoop环境搭建-伪分布模式 Hadoop 第5张

编辑:httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

      <property>

            <name>dfs.replication</name>

            <value>1</value>

      </property>

</configuration>

hadoop环境搭建-伪分布模式 Hadoop 第6张

编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

      <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

      </property>

</configuration>

 hadoop环境搭建-伪分布模式 Hadoop 第7张

编辑:yarn-site.xml(底层)

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

      <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>localhost</value>

      </property>

      <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

      </property>

</configuration>

 hadoop环境搭建-伪分布模式 Hadoop 第8张

配置SSH:

  1. 查看系统是否有安装的ssh包

yum list installed | grep ssh

 hadoop环境搭建-伪分布模式 Hadoop 第9张

如果没有要自行安装ssh

  1. 检查是否启动了sshd进程:ps –Af | grep sshd

hadoop环境搭建-伪分布模式 Hadoop 第10张

 

  1. 在client侧生产公私密匙对:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

  1. 修改authorized_keys的权限为644:chmod 644 authoried_keys
  2. 测试: ssh localhost

 hadoop环境搭建-伪分布模式 Hadoop 第11张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄