C/C++ 版 MapReduce 框架 MR4C 開源化

Google 上週宣佈將自己用 C++ 開發的 MapReduce 框架 MapReduce for C ( MR4C ) 開源化,將令大數據分析進行時更有效率。2015022401mr4c2015022401mr4c
據 GigaOM消息,Google 在2015年2月宣佈,將自己用 C++ 開發的 MapReduce 框架 MapReduce for C (MR4C ) 開源,此舉可給 Hadoop 社區帶來福音,因為這樣用戶就可以在自己的 Hadoop 環境中運行原生的 C 及 C++ 程式碼。Hadoop 是許多大數據應用的基礎,它是由 Apache 基金會所開發的分佈式系統基礎架構,主要由分佈式文件系統 HDFS 和計算框架 MapReduce 組成。由於原先的 MapReduce 是用 Java 編寫的,與 C++ 相比在性能上要略遜一籌,因此許多處理大規模數據集的軟體公司,都開發了自己的專有系統,來在 MapReduce 框架之內執行其原生程式碼。例如 Facebook 的 HipHop 就將 PHP 轉換為 C++,MemSQL 執行前將 SQL 轉為 C++ 程式碼,也都是出於同樣的性能考慮。

MR4C 原先由衛星影像公司 Skybox Imaging 開發,目的是為了優化其地理空間數據及計算機視覺程式碼庫。MR4C 圍繞著幾個簡單概念開發而成,其目標是將 MapReduce 的重要細節抽象化,允許用戶專注於開發有價值的算法。2014年 6 月,Google 收購了 Skybox。半年後又將 MR4C 開源出來。這對於沒有能力開發專有系統,或者對 Java 不滿的開發者來說,無疑是一個福音。當然,MR4C 的受歡迎程度仍有待觀察。因為在數據處理方面,Apache Spark 是一個速度比 Mapreduce 更快的框架,不但與 Hadoop 同樣是開源的,亦支援 Scala、Python 和 Java(但不支援 C/C++),已經引起了開發社區極大的興趣。

你可能有興趣的內容

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *