集群搭建hadoop问题总结

文章目录

1. 1. hadoop java.net.UnknowHostException
2. 2. FATAL namenode.NameNode: Exception in namenode join java.lang.IllegalArgumentException: URI has an authority component

在公司的openstack上搭建hadoop的集群环境的过程中遇到一些问题，整理记录下：

搭建的过程参考官方文档和一些blog，版本2.7.4

1. 申请资源的hadoop的master节点申请public ip，datanode节点可以不用申请public ip。

2. master节点跟datanode节点设置免密码登录。

3. 搭建完成后运行

   hadoop namenode -format

运行不成功，开始报错。

hadoop java.net.UnknowHostException

上面这个错误是不能识别集群的hostname，依次做如下修改：

1. 编辑集群中每个/etc/hosts文件，依次将集群的ip hostname记录下来。
2. 编辑/etc/hostname文件，将主机名记录此文件。
3. 编辑 Hadoop/etc/hadoop/slave文件，将datanode的主机名或者datanode的记录下来。

FATAL namenode.NameNode: Exception in namenode join java.lang.IllegalArgumentException: URI has an authority component

出现这个问题有说是配置文件重载权限问题，但是我将hdfs-site.xml的文件权限设置成777也没有生效，后将此文件中的xml配置写成固定值成功，如下：

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:/usr/local/hadoop-2.7.4/tmp/dfs/name</value>（即使用完整的绝对地址）  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/usr/local/hadoop-2.7.4/tmp/dfs/name</value>（即使用完整的绝对地址）  
</property>

tmp目录是自己指定的。

完成上述配置后格式化启动成功，发现启动节点数不对或者其他不确定错误，将上面的tmp目录内容清空再试一次即可

放个hadoop配置文件参数介绍

之后就可以在上层跑hive，hsql，spark，storm的组件了，map/reduce的开发跟之前单机版一样。

hadoop，es，spark/storm基本思想差不多都是大化小，小块处理，结果整合，之前记录过。