hadoop and hive

hive , 預設是直接在 hadoop-hdfs 上儲存資料並且可以支援 Hive-QL 的 資料倉儲與分析工具。也可以轉存到 HBase 上,怎麼存都是把 Hive-QL 轉成 MapReduce 的 code 來執行。

http://blog.milford.io
Daemonizing the Apache Hive Thrift server on CentOS
Getting the Hive Web Interface (HWI) to work on CentOS
http://blog.milford.io/2010/06/getting-the-hive-web-interface-hwi-to-work-on-centos/

Installing Apache Hive with a MySQL Metastore in CentOS
http://blog.milford.io/2010/06/installing-apache-hive-with-a-mysql-metastore-in-centos/

因為 hive 內建儲存 metadata(資料存放的node與位置的地方) 的資料庫引擎是 Apache derby 一次只允許一個 session (一個命令列),

這篇文章教怎麼把 metadata 改存成 MySQL 來解決這個問題,Hive 原始碼內也有附一些 metastore 的東東..好像也是類似的事

When using MySQL as a metastore I see the error “com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes”.

把他改MySQL的時候發生了這個錯誤,在FAQ看到…編碼不能用UTF-8..

http://wiki.apache.org/hadoop/Hive/FAQ

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *