標籤: cluster

Big Data in Real-Time at Twitter

01/272011

http://www.slideshare.net/nkallen/q-con-3770885?from=ss_embed slideshare

http://qconsf.com/dl/qcon-sanfran-2010/slides/NickKallen_DataArchitectureAtTwitterScale.pdf pdf

Twitter 如何即時的處理龐大的資料，這篇投影片的出處是在 2010 年 http://qconsf.com/ 的演講內容，還有其他看起來很精彩的內容。

這是一個軟體開發的會議 http://qconferences.com/

從四個關鍵瓶頸開始思考，如何解決 twitter 資料不斷擴充查詢資料延遲時間不斷增加的問題。

  • 推特
  • 時間線
  • 社交圖
  • 搜尋索引

針對每個問題的問題，提出從前的問題，目前的解法

Continue reading…

Build Hadoop Cluster using VMware vSphere

12/262010

紀錄一下…想要建一個真實跟虛擬的主機都能連線的環境，且沒用很多IP，由於 IP 有限，要架設很多台的環境需要設定一下網路，所以要建立一個虛擬的區域網路，由一台 Master 負責 DHCP 與 NAT ，幫 Master 建立兩個虛擬網卡，與按下圖 2 處建立第二個 vSwitch，將 Node 與 Master 接在同個虛擬網路，然後 Master 第二個網卡對應到有真實網卡的虛擬網路，然後外部的 Node 們透過 VPN 與虛擬區網內的 Node 連線。

架設 pptpd[4] 伺服器，接著測試用 windows vpn 連入，linux 圖形化介面設定方式也類似，指令則比較麻煩…[5]

整理一下設定 pppd client 命令列的步驟：

  1. 安裝 ppp pptp http://pptpclient.sourceforge.net/yum/
  2. /etc/ppp/chap-secrets 設定帳號密碼
  3. /etc/ppp/peers/$tunnel 設定 tunnels 資訊
  4. 撥號 pppd call $tunnel
  5. 設定路由規則 route add -net 192.168.1.0 netmask 255.0.0.0 dev ppp0
  6. 但是在兩台centos 做同樣的事..都遇到類似的錯誤..一台莫名的突然可以..另一台就炸掉了~
  7. 無法連線排解 … http://pptpclient.sourceforge.net/howto-diagnosis.phtml#connect_refused 不了..
  8. 某種情況開著 pppd 讓他跑 再開另外一個連線 pppd call $tunnel 就連上了…
  9. 記得要裝 pptp 如果沒裝 pppd 還是能跑 只是 pptp is not running at the time pppd writes to the psuedo-tty

網路設定：

在這邊要注意 iptables 的設定跟 route 的設定， iptables 大都照著鳥哥[3]的設定就可以使用了，但是在 route 的地方處理的是封包要往哪走，如果是透過 ppp 連上虛擬區網的主機，就要設定一下將虛擬網路的封包都導向 ppp0 中，

route add -net 192.168.1.0 netmask 255.255.255.0 dev ppp0

route 增加 -net 網段 netmask 遮罩 dev 網路介面

在這邊就是指 192.168.1.0-254 的封包都要往 ppp0 (vpn) 送，才能連到虛擬網路，否則會走原本的實體IP就連不到東西了。

參考資源：