Spring for Apache Hadoop 2.3 Milestone 1 已發布

發布 | Thomas Risberg | 2015 年 8 月 4 日 | ...

我們很高興宣布 Spring for Apache Hadoop 2.3 M1 milestone 版本的發布。

Spring for Apache Hadoop 2.3 M1 版本中最重要的增強功能

  • 新增 Hadoop 2.7.1 作為預設版本
  • 新增對 HDP 2.3 和 CDH 5.4.4 的支援
  • 錯誤修復:修復附加重新開啟可能失敗的問題 SHDP-510
  • 更好的 Boot 支援:支援 Boot config props metadata SHDP-452
  • 新增對 Hive 1.x 和 HiveServer2 的支援

請參閱發布變更日誌以取得詳細資訊。

為了能夠使用 Hive 1.x(它放棄了對 HiveServer1 和相應 Thrift 客戶端的支援),我們必須在 Spring for Apache Hadoop 中重寫 Hive 支援。 我們現在使用 JDBC 客戶端支援 HiveServer2,對於最常見的用途,您只需更改客戶端配置以使用 hiveDataSource。 這是一個例子

<hive-client-factory id="hiveClientFactory" hive-data-source-ref="hiveDataSource"/>
<beans:bean id="hiveDriver" class="org.apache.hive.jdbc.HiveDriver"/>
<beans:bean id="hiveDataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">
	<beans:constructor-arg name="driver" ref="hiveDriver"/>
	<beans:constructor-arg name="url" value="jdbc:hive2://127.0.0.1:10000"/>
</beans:bean>

如果您在程式碼中直接使用了 org.apache.hadoop.hive.service.HiveClient,則需要切換到新的 org.springframework.data.hadoop.hive.HiveClient,它模擬了舊的基於 Thrift 的客戶端,但使用 JDBC 驅動程式與 HiveServer2 通訊。

我們對 Spring for Apache Hadoop Hive 範例程式碼所做的變更可以在此commit中看到。

我們繼續在 Spring IO milestone 儲存庫中提供具有各自傳遞依賴項的版本特定構件

  • 2.3.0.M1 (預設 - Apache Hadoop stable 2.7.1)
  • 2.3.0.M1-hadoop26 (Apache Hadoop 2.6.0)
  • 2.3.0.M1-phd30 (Pivotal HD 3.0)
  • 2.3.0.M1-cdh5 (Cloudera CDH 5.4)
  • 2.3.0.M1-hdp23 (Hortonworks HDP 2.3)

請提供回饋,以便我們優先處理計劃於 2.3 的新功能(請參閱之前的部落格文章以獲取列表)和任何其他功能請求。 您可以使用 JIRA issues 或 GitHub issues(請參閱項目頁面以獲取連結)。

專案頁面位於 - http://projects.spring.io/spring-hadoop/

取得 Spring 電子報

隨時掌握 Spring 電子報的最新消息

訂閱

領先一步

VMware 提供培訓和認證,以加速您的進展。

了解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位檔。

了解更多

即將舉辦的活動

查看 Spring 社群中所有即將舉辦的活動。

檢視全部