Spring for Apache Hadoop 2.0 M5 版本發佈

發佈 | Thomas Risberg | 2014 年 2 月 6 日 | ...

我們很高興地宣布 Spring for Apache Hadoop 2.0 M5 里程碑版本發佈。我們正朝向候選版本邁進,所以現在是強調此 2.0 版本的新功能以及它與 1.0 版本的比較的好時機。

Spring for Apache Hadoop 1.0 主要目標是將 HDFS 和 MapReduce 與 MapReduce v1 或 MapReduce v2 (YARN) 搭配使用。預設發行版是 Apache Hadoop 1.2.1,並為其他發行版提供額外的「風味」:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 和 Hortonworks HDP 1.3。

Spring for Apache Hadoop 2.0 的主要重點是在繼續改進 HDFS 和 MapReduce 支援的同時,新增 YARN 應用程式開發支援。 2.0 版本以後的預設發行版是 Apache Hadoop 2.2.0。

我們將繼續在 Spring IO 里程碑儲存庫中提供版本特定的成品及其各自的遞移相依性。

  • 2.0.0.M5(預設 - Apache Hadoop 穩定版 2.2.0)
  • 2.0.0.M5-hadoop12(Apache Hadoop 穩定版 1.2.1)
  • 2.0.0.M5-phd1(Pivotal HD 1.1)
  • 2.0.0.M5-cdh4(Cloudera CDH4 MR1)
  • 2.0.0.M5-cdh5(Cloudera CDH5 YARN beta)
  • 2.0.0.M5-hdp20(Hortonworks HDP 2.0)

Spring for Apache Hadoop 2.0 版本中最重要的增強功能

  • 對 YARN 功能的支援在新的 spring-yarn 子專案中提供。 spring-yarn 框架讓您可以更輕鬆地開發基於 Spring 的應用程式,這些應用程式可以部署到使用 YARN 在 Hadoop v2 上執行。
  • 我們還將 YARN 支援與 Spring Boot 整合在一起,以便您可以將 Spring Boot 應用程式部署在 YARN 上。我們將發布一篇部落格文章來更詳細地解釋此功能。
  • Spring Boot 提倡基於註釋的程式設計模型,並且我們為 Hadoop YARN 功能添加了基於註釋的配置。

您可以在YARN 範例中看到許多這些新的 YARN 功能的使用情況

我們還添加了一個 spring-data-hadoop-store 子專案,以使用 DataWriter 和 DataReader 實現來提供更好的支援,以使用 DataWriter 和 DataReader 實現將資料寫入 HDFS,該實現支援 text files 和 SequenceFiles 等格式,無論是否壓縮。這個新的子專案也與來自 Kite SDK 的 Dataset 支援整合。

有關更多專案特定的信息,請參閱專案頁面

取得 Spring 電子報

隨時掌握 Spring 電子報的最新資訊

訂閱

取得領先

VMware 提供培訓和認證,以加速您的進度。

了解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供對 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位檔。

了解更多

即將舉行的活動

查看 Spring 社群中所有即將舉行的活動。

查看全部