文章目录
  1. 1. Hadoop 安装
  2. 2. 配置ssh免密码登录
  3. 3. Hadoop 配置单节点使用
    1. 3.1. 配置 hdfs-site.xml
    2. 3.2. 配置 core-site.xml
    3. 3.3. 配置 mapred-site.xml
    4. 3.4. 配置 yarn-site.xml
  4. 4. Hadoop运行
    1. 4.1. 启动hadoop
    2. 4.2. 格式化文件系统
    3. 4.3. 建立用户空间(相当于连接了hadoop)
    4. 4.4. 查看hadoop启动的进程情况
    5. 4.5. 网页查看
  5. 5. Hadoop Hello World例程
    1. 5.1. 运行测试程序
  6. 6. 快速搭建方式

Hadoop 安装

系统macos 10.12.4,linux系统大体与此相似

1
brew insall hadoop

该命令安装是是最新版(2.8.0)

配置JAVA_HOME(之前已经配置过,java版本1.8)

配置ssh免密码登录

1、生成公钥,加入authorized_keys

1
2
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Hadoop 配置单节点使用

这里是使用单节点,brew install的hadoop目录在

/usr/local/Cellar/hadoop/2.8.0

配置文件目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/etc/hadoop

配置 hdfs-site.xml

设置副本数为 1:

1
2
3
4
5
6
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

配置 core-site.xml

设置文件系统访问的端口:

1
2
3
4
5
6
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

配置 mapred-site.xml

设置 MapReduce 使用的框架:

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置 yarn-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

Hadoop运行

因为没有将hadoop目录环境变量,所以以下命令需要在/usr/local/Cellar/hadoop/2.8.0/libexec/sbin目录下运行。

启动hadoop

1
2
start-dfs.sh
start-yarn.sh

格式化文件系统

1
hdfs namenode -format

建立用户空间(相当于连接了hadoop)

1
2
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/$(whoami) # 这里是用户

建立好目录后可以使用hadoop命令进行查看了

hadoop fs -ls /user/$(whoami)

查看hadoop启动的进程情况

1
jps

网页查看

启动后可以在本地浏览器访问以下地址:

http://localhost:8088/cluster

http://localhost:50070

http://localhost:8042/node

Hadoop Hello World例程

利用自带的java程序测试,官方给了一个计算单词个数的代码也可以测试

###建立测试文件上传到HDFS中

在本地建立文件,我创建的文件与内容如下

file01

Hello World Bye World dfss
dfsa

file02

hello test

dfs0

上传文件命令

1
hdfs dfs -put /User/liuce/input input #修改自己文件目录

可以在刚才创建的目录下看到刚才上传的文件:/user/$(whoami)/input #input自动生成的

运行测试程序

自带demo程序目录在

/usr/local/Cellar/hadoop/2.8.0/libexec/share/hadoop/mapreduce

运行测试程序

1
hadoop jar ./hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'

测试程序是计算以dfs单词的个数,结果记录在/user/$(whoami)/out/part-r-00000

删除刚才生成的文件

1
2
hdfs dfs -rm -r /user/$(whoami)/input
hdfs dfs -rm -r /user/$(whoami)/output

快速搭建方式

在推荐两种快速的方式

  1. 安装docker,基于docker的hadoop

    1
    2
    docker pull sequenceiq/hadoop-docker:2.7.1
    docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash
  2. 虚拟机直接启动

    访问网站 https://bitnami.com/ 搜索hadoop下载镜像,直接用相应的虚拟机启动。

    运行hadoop启动命令就可以了,这种方式也可以方便搭建集群环境。

文章目录
  1. 1. Hadoop 安装
  2. 2. 配置ssh免密码登录
  3. 3. Hadoop 配置单节点使用
    1. 3.1. 配置 hdfs-site.xml
    2. 3.2. 配置 core-site.xml
    3. 3.3. 配置 mapred-site.xml
    4. 3.4. 配置 yarn-site.xml
  4. 4. Hadoop运行
    1. 4.1. 启动hadoop
    2. 4.2. 格式化文件系统
    3. 4.3. 建立用户空间(相当于连接了hadoop)
    4. 4.4. 查看hadoop启动的进程情况
    5. 4.5. 网页查看
  5. 5. Hadoop Hello World例程
    1. 5.1. 运行测试程序
  6. 6. 快速搭建方式