Ubuntu16.04-hadoop3.1.0安装与配置
hadoop的配置文件在hadoop/etc/hadoop/下,
重要配置文件hdfs-site.xml
重要配置参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<!-- 设置dfs块大小,单位b,默认128Mb,设置16M -->
<property>
<name>dfs.blocksize</name>
<value>1677216</value>
</property>

<!-- 设置dfs最小块大小,单位b,设置1M -->
<property>
<name>dfs.namenode.fs-limits.in-block-size</name>
<value>1048576</value>
</property>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

hadoop/bin/下面是客户端脚本
hadoop/sbin/下面是服务端脚本
第一次启动之前先要格式化namenode
bin/hdfs namenode -format
启动hdfs服务:
sbin/start-dfs.sh
检查是否启动成功
jps
停止hdfsf服务
sbin/stop-dfs.sh

之后如果需要格式化,先停止hdfs服务,
执行bin/hdfs namenode -format
删除datanode下的文件
重启hdfs即可