大數據分析專用的新一代平台 Linux on OpenPOWER

全球數據量正在以幾何級數增長,但大數據分析平台的處理能力卻漸漸追不上,市場分析指出到 2020 年,電子數據存儲量,將在 2009 年的基礎上增加 44 倍,達到 35 萬億 GB。從前預測晶片上電晶體數量每兩年翻倍的摩爾定律已經失效,業界必須用其他方法,提升硬體處理能力的增長速度。

再者,數據的性質亦有所改變,相對於以往結搆化數據,非結搆化數據如網站日誌、社交網路的互動資料、網路搜尋索引、客服中心呼叫記錄等不斷增加,分析數據的平台除了一般的垂直擴展(Scale-up) 外,亦需要水平擴展 (Scale-out),更要配合不同數據的性質提供不同的分析能力。面對以上挑戰,傳統伺服器架構經已不能解決應用需要。而 OpenPOWER 平台正正是為了滿足未來大數據及物聯網應用需要而誔生。

Hadoop 的應用案例

眾所周知,Hadoop 是一個能夠對大數據進行分佈式儲存和處理的框架,它具有高可靠性、高擴展性、容錯、高效、低成本的特點,一度廣受互聯網公司青睞,而越來越多企業用戶也開始接受 Hadoop。但凡事總有兩面,Hadoop 是非常耗費計算資源的。IBM POWER 伺服器產品非常適合 Hadoop 應用,IBM 針對 Hadoop 來對硬體的性能進行優化,是用化整為零的方式將各種資源池化,檔案被分割成不同層面,通過節點實現並行化 I/O。透過對 Linux 核心參數進行微調,更可提高作業的運行效率。

互聯網巨頭如 Google、Facebook 和 LinkedIn,在 Hadoop 應用的探究之路上已有許多成功案例,例如利用 Hadoop 進行分析,並根據用戶的個人資料和行為數據匹配和推薦用戶、產品和服務。LinkedIn 使用此方法,增強其「你可能認識的人」這一功能,而亞馬遜利用該方法為網上消費者推薦相關產品。企業更可以將 Hadoop 與先進的文字分析工具結合,分析在 Twitter 和 Facebook 等社交網路發佈的非結構化文字,從而了解用戶對特定公司、品牌或產品的情緒,有關分析既可以專注於宏觀層面的情緒,也可以細分到個人用戶的情緒。另外財務公司、金融機構及銀行等也開始使用 Hadoop 建立風險管理模型、營銷活動分析、客戶流失分析、社交圖譜分析、用戶體驗分析和網路監控等等。

在大數據環境中,基於 Linux 的群集式解決方案,是架設大數據應用的最基本結構。IBM 針對大數據應用發佈一系列 POWER 伺服器新品 LC 系列。LC 系列針對不同數據需求有不同的方案,如儲存密集型、計算密集型等不同的解決方案。第一代LC系列產品包含兩款,一款針對 Spark 和 Hadoop 等記憶體和儲存密集型工作負載的 S812LC,具有高頻寬、大儲存特性。另一款為計算密集型應用設計,具備最多 20 個核心,並支援 GPU 運算的 S822LC,適用於商業運算及高性能運算。

針對Spark和Hadoop等記憶體和儲存密集型工作負載的POWER伺服器產品S812LC。
針對 Spark 和 Hadoop 等記憶體和儲存密集型工作負載的 POWER 伺服器產品 S812LC。

隨著 OpenPOWER 基金會的成立,POWER 已經進入全新的 OpenPOWER 時代,支持開放源碼的 Hadoop、NoSQL,OpenStack 等技術,以營造廣泛的POWER8生態系統。隨著 POWER8 LC 系列的發布,令 IBM POWER 硬體平台變身成更立體化的產品線,現在的 Power Systems,不僅支援傳統 UNIX 所強調的 OLTP 工作負載等關鍵任務,更支援新興 Linux 在雲端運算、大數據、移動互聯網、社交媒體等新興工作負載。IBM 發佈的 POWER8 是業界第一款針對大數據的 CPU,它大幅提升了緩存、線程等指標,並引入了 CAPI (Coherent Accelerator Processor Interface) 等新技術,顯著提升了大數據相關應用的性能。

IBM大數據應用加速服務

貴公司在開發大數據應用時是否曾經遇到大大小小的技術疑難,令到開發進度延誤,假如閣下想快人一步推出大數據應用,現在可以登記了解 IBM 的大數據應用加速服務 “Big Data Enablement & Discovery Pack”,以獲得專業的技術支援及培訓,服務內容包括3日的 Big Data、Hadoop 快速啟動培訓,教導你如何架設完整的大數據應用環境,另外為了協助客戶更易掌握大數據對公司的好處,IBM 特別參照真實客戶個案設計一個為期2日的實戰工作坊,你可以將真實的大數據集 (big data sets) 及實時串流 (real-time streaming)測試數據載入 Hadoop,在短短 2 日內便可以建立第一個大數據應用原型及示範,協助你在機構內規劃具潛力的大數據應用案例。成功完成 5 日課程的客戶,最多可以有 5 位員工獲得 Hadoop 證書。

免費虛擬開發及測試環境可供申請

為了讓更多軟體開發商體會 IBM Linux on Power 的強大數據分析能力,一同發掘大數據應用的商機,IBM 將提供免費 Linux on Power 虛擬化應用/工作負載測試環境給客戶申請,令你快人一步實現高效能的大數據應用,名額只限 5 位,機會難得,請即登記。

Fields marked with an * are required

你可能有興趣的內容