Spring for Apache Hadoop 2.1 版本發布

發布 | Thomas Risberg | 2015 年 2 月 9 日 | ...

大約在六個月前,我們開始了 Spring for Apache Hadoop 2.1 版本的開發工作。現在我們很高興宣布 2.1.0 版本的正式發布。

從 Spring for Apache Hadoop 2.1 版本開始,我們現在僅支援 Hadoop 2.0 API,不再提供與舊版 Hadoop v1 發行版的向後相容性。 如果您需要支援舊版 Hadoop 版本,請使用 Spring for Apache Hadoop 的 2.0.4 或 1.1.0 版本。

2.1 版本的主要新功能包括

組態與 Boot 支援:

  • 新的 @Configuration 變更以及對 Boot 自動組態功能的改進。 在 boot-fsshell DemoApplication 範例應用程式中,可以看到此支援的良好範例
@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

	@Autowired
	private FsShell shell;

	@Override
	public void run(String... args) {
		for (FileStatus s : shell.lsr("/tmp")) {
			System.out.println("> " + s.getPath());
		}
	}

	public static void main(String[] args) {
		SpringApplication.run(DemoApplication.class, args);
	}
}

如需完整的範例,請前往 https://github.github.com/spring-projects/spring-hadoop-samples/blob/master/boot/boot-fsshell

儲存:

  • 在 HDFS 儲存寫入器中新增了對附加模式的支援。
  • Kite SDK 資料集支援更新至 0.17.0。 這表示 API 有一些變更。 現在必須在 basePath 之外使用命名空間。 DatasetTemplate 現在也使用 ViewCallbacks 而不是分割區表達式來查詢資料。

YARN:

  • 在 Spring YARN 中支援容器群組和叢集,這帶來了在單個 YARN 應用程式中執行多個容器類型的功能。
  • 適用於已提交應用程式的新 REST API,以及具有新用戶端命令和命令列 shell 的改進應用程式模型。
  • 若要查看這些功能的範例,請參閱 yarn-store-groups 範例應用程式或 Spring XD 實作,以 在 YARN 上執行

我們會繼續更新對最新 Hadoop 版本的支援。 我們現在為以下發行版提供「flavored」版本

  • Apache Hadoop 2.4.1 (2.1.0.RELEASE-hadoop24)
  • Apache Hadoop 2.5.2 (2.1.0.RELEASE-hadoop25)
  • Apache Hadoop 2.6.0 (2.1.0.RELEASE)
  • Pivotal HD 2.1 (2.1.0.RELEASE-phd21)
  • Cloudera CDH5 5.3.0 (2.1.0.RELEASE-cdh5)
  • Hortonworks HDP 2.2 (2.1.0.RELEASE-hdp22)

預設發行版版本現在是 Apache Hadoop 2.6.0。

展望未來

由於 Hadoop 生態系統的發展速度很快,我們希望更頻繁的發布有助於我們跟上。 對於下一個版本,我們計劃新增以下內容

  • 更好的 Java 組態支援。
  • 新增對 Hiveserver2 的更好支援,包括批次 tasklet。
  • 用於執行 Spark 應用程式的批次 tasklet 的基本支援。
  • 在不同模組中更好的 boot 支援。
  • 改進的安全性支援(即 YARN Boot CLI 互動等)。
  • 增強與 spring-cloud 元件(即 spring-cloud-cluster)的無縫整合。

請透過 JIRA 問題或 GitHub 問題提供意見和功能要求(請參閱專案頁面以取得連結)。

專案頁面位於 - http://projects.spring.io/spring-hadoop/

取得 Spring 電子報

透過 Spring 電子報保持聯繫

訂閱

領先一步

VMware 提供培訓和認證,以加速您的進展。

瞭解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位檔案。

瞭解更多

即將舉行的活動

查看 Spring 社群中所有即將舉行的活動。

檢視所有