預設 wordcount 測試 , 透過 hadoop jar [file.jar] 執行
$ hadoop fs -mkdir wordcount $ hadoop fs -put conf/* /wordcount $ hadoop jar hadoop-0.20.2-example.jar wordcount /wd /wd-output //瀏覽 hdfs 內 /wd-output 的結果:
安全模式:
在對 hdfs 下指令前,需要確定是否離開安全模式,安全模式負責在 namenode 伺服器啟動時檢查檔案各 datanode 的檔案完整度。
$ hadoop dfsadmin -safemode get # query $ hadoop dfsadmin -safemode leave # 強制離開,可能會影響到檔案的完整?!
hadoop-streaming:
透過 hadoop-streaming 可以透過 linux shell 轉接運行 MapReduce 的程式,例如可以透過 php 來寫[5]。
參考資料:
- [1]檢查離開 hdfs 安全模式 http://www.hjide.com/article/255.htm
- [2] http://hi.baidu.com/cumthacker/blog/item/ca232400b674138be950cdca.html
- [3] http://hadoop.apache.org/common/docs/r0.20.2/mapred_tutorial.html#Pre-requisites
- [4] 資料庫版本 http://blog.ring.idv.tw/category.ser?c=36
- [5] hadoop streaming php example http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html
One comment on “hadoop : safe mode , wordcount , streaming”