2011年3月23日 星期三

hadoop 單機安裝

,
環境:Linux ubuntu 10.04
安裝前先作一些設定
1.登入資訊(使用者:使用者群組:使用者密碼)
2.讓該使用者具有root權限=> sudo adduser 使用者帳號 admin

開始安裝:
step1: 設定ssh登入機器免密碼的設定
  ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" 
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 
step2: 安裝java
  sudo apt-get purge java-gcj-compat 
  sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner" 
  sudo apt-get update 
  sudo apt-get install sun-java6-jdk sun-java6-plugin 
  sudo update-java-alternatives -s java-6-sun 
step3: 下載安裝hadoop
 cd /opt     
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2
       /hadoop-0.20.2.tar.gz   
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R 使用者帳號:使用者密碼 hadoop
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R 使用者帳號:使用者密碼 /var/hadoop
 step4: 設定 hadoop-env.sh 貼入以下資訊   
指令: cat >> conf/hadoop-env.sh << EOF
export JAVA_HOME=/usr/lib/jvm/java-6-sun   
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf 
step5: 設定 core-site.xml, hdfs-site.xml, mapred-site.xml
core-site.xml   /設定datanod&namenode
  
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-\${user.name}</value>
  </property>
</configuration> 

hdfs-site.xml    //設定備份數
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value> 
   </property>
</configuration>  

mapred-site.xml    //設定 jobtracker &tasktracker
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration> 
step6:格式化
/opt/hadoop$ bin/hadoop namenode -format 

step7: 啟動Hadoop
/opt/hadoop$ bin/start-all.sh   

測試
1.http://localhost:50030 管理介面
2.http://localhost:50060  Hadoop Task Tracker 狀態
3.http://localhost:50070 hadoop dfs狀態 


0 意見 to “hadoop 單機安裝”

張貼留言