Hadoop 下载安装
Hadoop所需的环境: Hadoop的生产环境是UNIX，但也可以在使用Cygwin的Windows中使用。需要Java 1.6或更高版本才能运行Map Reduce程序。要从UNIX环境下的tar球安装Hadoop，您需要
Java安装
SSH安装
Hadoop安装和文件配置
1)Java安装
第1步。在提示符下键入" java-version"以查找是否已安装Java。如果没有，请从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载Java。 tar文件jdk-7u71-linux-x64.tar.gz将下载到您的系统中。
第2步。使用以下命令提取文件
#tar zxf jdk-7u71-linux-x64.tar.gz
步骤3、要使Java对UNIX的所有用户均可用，请将文件移至/usr/local并设置路径。在提示符下切换到root用户，然后在下面键入命令以将jdk移至/usr/lib。
# mv jdk1.7.0_71 /usr/lib/
现在在〜/.bashrc文件中，添加以下命令来设置路径。
# export JAVA_HOME=/usr/lib/jdk1.7.0_71
# export PATH=PATH:$JAVA_HOME/bin
现在，您可以在提示符下输入" java-version"来检查安装。
2)SSH安装
SSH用于交互在没有任何提示输入密码的情况下使用主计算机和从计算机。首先，在主从系统上创建Hadoop用户
# useradd hadoop
# passwd Hadoop
要映射节点，请打开所有计算机上/etc/文件夹中的hosts文件，并将IP地址及其主机名一起放置。
在下面输入行
190.12.1.114 hadoop-master
190.12.1.121 hadoop-salve-one
190.12.1.143 hadoop-slave-two
在每个节点中设置SSH密钥，以便它们之间无需密码即可进行通信。相同的命令是:
# su hadoop
$ ssh-keygen-t rsa
$ ssh-copy-id-i ~/.ssh/id_rsa.pub lidihuo@hadoop-master
$ ssh-copy-id-i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1
$ ssh-copy-id-i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ chmod 0600 ~/.ssh/authorized_keys
$ exit
3)Hadoop安装
可以从http://developer.yahoo.com/hadoop/tutorial/module3.html
现在下载Hadoop。提取Hadoop并将其复制到某个位置。
$ mkdir /usr/hadoop
$ sudo tar vxzf hadoop-2.2.0.tar.gz ?c /usr/hadoop
更改Hadoop文件夹的所有权
$sudo chown-R hadoop usr/hadoop
更改Hadoop配置文件:
所有文件都位于/usr/local/Hadoop/etc/hadoop
1)在hadoop-env.sh文件中添加
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71
2)在core-site.xml中的配置选项卡之间添加以下内容，
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
3)在hdfs-site.xml中，在配置选项卡之间添加以下内容，
<configuration>
<property>
<name>dfs.data.dir</name>
<value>usr/hadoop/dfs/name/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>usr/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4)打开Mapred-site.xml并进行如下所示的更改
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>
5)最后，更新$ HOME/.bahsrc
cd $HOME
vi .bashrc
Append following lines in the end and save and exit
#Hadoop variables
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
在从属计算机上，使用以下命令安装Hadoop
# su hadoop
$ cd /opt/hadoop
$ scp-r hadoop hadoop-slave-one:/usr/hadoop
$ scp-r hadoop hadoop-slave-two:/usr/Hadoop
配置主节点和从节点
$ vi etc/hadoop/masters
hadoop-master
$ vi etc/hadoop/slaves
hadoop-slave-one
hadoop-slave-two
此格式后，命名节点并启动所有重传
# su hadoop
$ cd /usr/hadoop
$ bin/hadoop namenode-format
$ cd $HADOOP_HOME/sbin
$ start-all.sh
最简单的步骤是使用cloudera，因为它附带了所有预安装的东西，可以从http://content.udacity-data.com/courses/ud617/Cloudera-Udacity-Training-VM下载-4.1.1.c.zip
