Spring for Apache Hadoop 1.0.0 M2 的重點摘要

工程 | Costin Leau | 2012年6月13日 | ...

我很高興宣布 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 已經發布。在這篇部落格文章中,我想快速重點介紹 M2 版本中的主要新功能。

HBase DAO 支援

Spring Framework 中最通用且強大的功能之一是資料存取物件 (Data Access Object, DAO) 支援。在 Spring for Hadoop 1.0.0 M2 中,HBase 也加入了相同的功能。熟悉樣板和回呼模式的使用者應該會感到非常自在,因為框架會處理表格查詢、資源清理和例外轉換,讓開發人員可以專注於真正重要的事情。請參閱 API 和參考文件以取得更多資訊。順帶一提,我們也在發行版本中加入了一個新的範例,hbase-crud,以協助您立即開始使用。

Cascading Taps

在 M2 版本中,我們擴展了與 Cascading 程式庫的整合,為 Spring Framework 和 Spring Integration 資源Taps。Spring Integration 适配器(無論是 inbound 還是 outbound),例如 File、TCP、Twitter、FTP、RSS(僅舉幾例)的豐富性現在已可供 Cascading(及其擴展,例如 CascalogScalding)使用。而這僅僅是個開始 - 敬請期待更多相關消息。

Hadoop 安全性

在 M2 版本中,從原始的 Hadoop 安裝(例如開發機器)遷移到完全 Kerberos 安全的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 組件都具有安全性意識,會在適當的憑證下執行並支援使用者模擬。請參閱專門的 章節以取得更多資訊。

增強的原始 Map/Reduce 支援

自一開始,Spring for Apache Hadoop 就為 Map/Reduce 作業提供了廣泛的支援 - 無論是原始或傳統的 Java Map/Reduce、串流工具。在 M2 版本中,我們全面添加了對 Hadoop 通用選項支援,使作業配置(無論是個別命名資源還是通過模式匹配)變得非常簡單。此外,我們還增強了基於 jar 的作業的引導 - 作業可以完全從 jar 中隔離載入,而無需將類別放在類別路徑上。類別(及其依賴項)不會洩漏到應用程式中,從而避免了各種版本衝突和依賴性蔓延。工具宣告已得到改進,可以自動讀取 Jar metadata 及其 Main-Class,為 Hadoop shell 提供了一個強大且完全託管的替代方案jar呼叫。

兩個新範例

最後但同樣重要的是,發行版本中新增了兩個新範例hbase-crud,我之前提到過的,展示了宣告式和程式化的 HBase 支援,以及pig-scripting,示範了 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多範例正在開發中,如果您想看到任何特定的範例,請告訴我們

希望您喜歡這個新的里程碑版本。趕快去下載 1.0.0 M2 版本,試用看看,並告訴我們您的想法!

其他新聞:Project Serengeti

就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並非 Hadoop 領域的唯一新聞。今天,VMware 公開了 Project Serengeti 專案,用於虛擬化和高可用性的 Hadoop。請參閱 Richard McDougall 的 部落格文章,了解其背後的動機、目前狀態和路線圖。

取得 Spring 電子報

隨時掌握 Spring 電子報的最新資訊

訂閱

領先一步

VMware 提供培訓和認證,以加速您的進展。

了解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進制檔案。

了解更多

即將到來的活動

查看 Spring 社群中所有即將到來的活動。

查看全部