我們很高興宣布 Spring for Apache Hadoop 2.2 RC1 的里程碑版本發布。這是 2.2 GA 版本在大約 2 週內發布之前的最後一次計劃發布。
Spring for Apache Hadoop 2.2 版本中最重要變更/增強功能是
- 移除對使用 JDK 6 的支援,現在需要 Java 7 或更高版本
- 改進 HDFS 寫入器以支援可同步的寫入和新的逾時選項
- 新增對 Pivotal HD 3.0 的支援
- 更新 CLoudera CDH 5 以使用 5.3.3 版本
- 更新 Hortonworks HDP 2.2 版本至 2.2.4.0
- 更新 Kite SDK 至 1.0 版本
- 將 Spring 專案版本更新至最新版本
我們繼續在 Spring IO 里程碑儲存庫中提供具有各自的傳遞依賴關係的特定版本構件
- 2.2.0.RC1 (預設 - Apache Hadoop 穩定版 2.6.0)
- 2.2.0.RC1-phd21 (Pivotal HD 2.1)
- 2.2.0.RC1-phd30 (Pivotal HD 3.0)
- 2.2.0.RC1-cdh5 (Cloudera CDH5)
- 2.2.0.RC1-hdp22 (Hortonworks HDP 2.2)
下一個 2.3 版本的最大變更將在於 Hive 支援
- 我們將更新 Hive 功能以使用 Apache Hive 的 1.x 系列。 Hive 1.x 放棄了對 Hiveserver v1 和相應 Thrift 客戶端的支援。 這意味著我們將必須刪除我們擁有的支援這些功能的程式碼,包括 XML 組態的 Hive 命名空間。 我們將使用使用 JDBC 客戶端的新實作來替換這些功能,以實現等效功能。 從 Hiveserver v1 移至 Hiveserver v2 (hiveserver2) 時,需要進行一些變更才能進行組態。 任何依賴 Hive v1 功能的人員應繼續使用 Spring for Apache Hadoop 2.2.x 或更早版本。
我們還計劃在 2.3 中開發以下功能
- 更好的 Java 組態支援。
- 基本支援批次 tasklet 以執行 Spark 應用程式。
- 在不同模組中更好的啟動支援。
- 改進的安全性支援(即 YARN Boot CLI 互動等)。
- 增強功能以與 spring-cloud 元件(即 spring-cloud-cluster)無縫整合。
請提供回饋,以便我們可以優先處理這些功能和任何其他功能要求。 您可以使用 JIRA 問題或 GitHub 問題(請參閱專案頁面以取得連結)。
專案頁面位於 - http://projects.spring.io/spring-hadoop/