Spring for Apache Hadoop 1.0.0 M2 的重點摘要
我很高興宣布 Spring for Apache Hadoop 專案的第二個里程碑版本 (1.0.0.M2) 已經發布。在這篇部落格文章中,我想快速重點介紹 M2 版本中的主要新功能。
HBase DAO 支援
Spring Framework 中最通用且強大的功能之一是資料存取物件 (Data Access Object, DAO) 支援。在 Spring for Hadoop 1.0.0 M2 中,HBase 也加入了相同的功能。熟悉樣板和回呼模式的使用者應該會感到非常自在,因為框架會處理表格查詢、資源清理和例外轉換,讓開發人員可以專注於真正重要的事情。請參閱 API 和參考文件以取得更多資訊。順帶一提,我們也在發行版本中加入了一個新的範例,
hbase-crud,以協助您立即開始使用。
Cascading Taps
在 M2 版本中,我們擴展了與
Cascading 程式庫的整合,為 Spring Framework 和 Spring Integration 資源
Taps。Spring Integration 适配器(無論是 inbound 還是 outbound),例如 File、TCP、Twitter、FTP、RSS(僅舉幾例)的豐富性現在已可供 Cascading(及其擴展,例如
Cascalog 或
Scalding)使用。而這僅僅是個開始 - 敬請期待更多相關消息。
Hadoop 安全性
在 M2 版本中,從原始的 Hadoop 安裝(例如開發機器)遷移到完全 Kerberos 安全的 Hadoop 叢集是透明的。檔案系統、Map/Reduce 和 Pig 組件都具有安全性意識,會在適當的憑證下執行並支援使用者模擬。請參閱專門的
章節以取得更多資訊。
增強的原始 Map/Reduce 支援
自一開始,Spring for Apache Hadoop 就為 Map/Reduce 作業提供了廣泛的支援 - 無論是原始或傳統的 Java Map/Reduce、
串流或
工具。在 M2 版本中,我們全面添加了對 Hadoop
通用選項的
支援,使作業配置(無論是個別命名資源還是通過模式匹配)變得非常簡單。此外,我們還增強了基於 jar 的作業的引導 - 作業可以完全從 jar 中隔離載入,而無需將類別放在類別路徑上。類別(及其依賴項)不會洩漏到應用程式中,從而避免了各種版本衝突和依賴性蔓延。工具宣告已得到改進,可以自動讀取 Jar metadata 及其
Main-Class,為 Hadoop shell
提供了一個強大且完全託管的替代方案jar呼叫。
兩個新範例
最後但同樣重要的是,發行版本中新增了兩個新範例
hbase-crud,我之前提到過的,展示了宣告式和程式化的 HBase 支援,以及
pig-scripting,示範了 JVM 和 Pig 指令碼:前者在 HDFS 中進行資料準備,後者進行資料分析。還有更多範例正在開發中,如果您想看到任何特定的範例,
請告訴我們。
希望您喜歡這個新的里程碑版本。趕快去下載 1.0.0 M2 版本,試用看看,並告訴我們您的想法!
其他新聞:Project Serengeti
就新版本而言,Spring for Apache Hadoop 1.0.0 M2 並非 Hadoop 領域的唯一新聞。今天,VMware 公開了 Project Serengeti 專案,用於虛擬化和高可用性的 Hadoop。請參閱 Richard McDougall 的 部落格文章,了解其背後的動機、目前狀態和路線圖。