hadoop : safe mode , wordcount , streaming

預設 wordcount 測試 , 透過 hadoop jar [file.jar] 執行

$ hadoop fs -mkdir wordcount
$ hadoop fs -put conf/* /wordcount
$ hadoop jar hadoop-0.20.2-example.jar wordcount /wd /wd-output
//瀏覽 hdfs 內 /wd-output 的結果:

安全模式:

在對 hdfs 下指令前,需要確定是否離開安全模式,安全模式負責在 namenode 伺服器啟動時檢查檔案各 datanode 的檔案完整度。

 $ hadoop dfsadmin -safemode get # query
 $ hadoop dfsadmin -safemode leave # 強制離開,可能會影響到檔案的完整?!

hadoop-streaming:

透過 hadoop-streaming 可以透過 linux shell 轉接運行 MapReduce 的程式,例如可以透過 php 來寫[5]。

參考資料:

One comment on “hadoop : safe mode , wordcount , streaming

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *