hadoop 單機安裝

環境：Linux ubuntu 10.04
安裝前先作一些設定
1.登入資訊（使用者：使用者群組：使用者密碼）
2.讓該使用者具有root權限＝> sudo adduser 使用者帳號 admin

開始安裝：
step1: 設定ssh登入機器免密碼的設定

  ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" 

  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 

step2: 安裝java

  sudo apt-get purge java-gcj-compat 

  sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner" 

  sudo apt-get update 

  sudo apt-get install sun-java6-jdk sun-java6-plugin 

  sudo update-java-alternatives -s java-6-sun 

step3: 下載安裝hadoop

 cd /opt     
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2

       /hadoop-0.20.2.tar.gz   
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R 使用者帳號:使用者密碼 hadoop
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R 使用者帳號:使用者密碼 /var/hadoop

 step4: 設定 hadoop-env.sh 貼入以下資訊   

指令： cat >> conf/hadoop-env.sh << EOF

export JAVA_HOME=/usr/lib/jvm/java-6-sun   

export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf 

step5: 設定 core-site.xml, hdfs-site.xml, mapred-site.xml

core-site.xml   /設定datanod&namenode

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-\${user.name}</value>
  </property>
</configuration> 

hdfs-site.xml    //設定備份數

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value> 

   </property>
</configuration>  

mapred-site.xml    //設定 jobtracker &tasktracker

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration> 

step6:格式化

/opt/hadoop$ bin/hadoop namenode -format 

step7: 啟動Hadoop

/opt/hadoop$ bin/start-all.sh   

測試

1.http://localhost:50030 管理介面

2.http://localhost:50060  Hadoop Task Tracker 狀態

3.http://localhost:50070 hadoop dfs狀態 

在linux上複製virtualbox vdi

前言：
當使用virtualbox 安裝好作業系統(ubunntu,xp,win7....etc )之後,之後如果還需在virtualbox重灌相同系統時或者同一個virtualbox要安裝多個虛擬機器,可以使用vdi複製的的指令產生vdi檔,直接在virtualbox掛載即可,節省時間
要注意的是 很多人可能會認為說在linux上 複製直接使用cp指令就可以了壓！這是錯的
因為virtualbox上每個vdi檔有唯一的UUID如果使用cp指令會產生錯誤,必須使用
VBoxManage clonevdi old.vdi new.vdi (要加上vdi檔的路徑)
以下為教學：
step1:
   使用virtualbox安裝作業系統,安裝完成之後就會產生一個vdi檔（預設是放在～/.Virtualbox）,這部份網路上有很多教學 就不在此多加教學了
step2:
   下複製指令（如下圖）

step3:  
    開啟virtualbox 掛載 vdi

        
完成  如有問題歡迎指教

運動之道

人生之道

養生之道

linux 技術之道

研究之道