Spring XD 簡介

工程 | Mark Fisher | 2013 年 4 月 23 日 | ...

今天我們正式啟動一個名為 Spring XD 的新計畫,其主題是「應對大數據的複雜性」1

Spring Data 團隊在過去幾年中一直非常忙碌,不僅提供對 NoSQL 資料儲存的支援,還簡化了 Hadoop 的開發體驗。透過建立 Spring for Apache Hadoop 專案,我們透過為 Hadoop 生態系統專案(如 Hive 和 Pig)提供豐富的配置模型和一致的程式設計模型,讓開始開發 Hadoop 應用程式變得更加容易。正如 Spring 用戶所期望的那樣,您可以

  1. 配置和執行 MapReduce 作為容器管理物件。
  2. 使用 HDFS、HBase、Pig 和 Hive 的範本輔助類別,從您的應用程式中移除樣板程式碼。

Spring for Apache Hadoop 為建構 Hadoop 應用程式提供了堅實的基礎。Spring XD 以這些基礎資產為基礎,進一步簡化了建立真實世界大數據解決方案的過程。具體而言,Spring XD 解決了常見的大數據用例,例如

  1. 從各種輸入來源將高吞吐量分散式資料擷取到 HDFS 中。
  2. 擷取時間的即時分析,例如收集指標和計數值。
  3. 透過批次工作進行 Hadoop 工作流程管理,這些工作結合了與標準企業系統(例如 RDBMS)以及 Hadoop 操作(例如 MapReduce、HDFS、Pig、Hive 或 Cascading)的互動。
  4. 高吞吐量資料匯出,例如從 HDFS 到 RDBMS 或 NoSQL 資料庫。

Spring Data 書籍涵蓋了其中幾個用例,該書的範例程式碼可在我們的 GitHub 儲存庫中找到。這些範例是建立在 Spring Batch 和 Spring Integration 以及 Spring for Apache Hadoop 專案之上的。

在管理事件驅動的資料擷取串流方面,Spring Integration 提供了一個經過驗證的模型,其靈感來自於完善的 企業整合模式。同樣地,Spring Batch 是一個用於管理工作流程的強大解決方案,對最重要的需求(如工作狀態管理和重試/重新啟動功能)提供穩健的支援,並且是 JSR-352 的基礎。

擴展框架以支援大數據用例始於書籍範例,但透過 Spring XD,我們的目標是將這種支援提升到另一個層次。首先,我們將提供一個一致的模型,涵蓋上面列出的四個用例類別。對於那些具有 Spring 經驗的人來說,這個模型會立即感到熟悉。其次,隨著 Spring XD 的發展,我們將遠遠超出 API 層,提供開箱即用的可執行伺服器、可插拔的模組系統、用於在 Hadoop 叢集內外分發資料收集實例的簡單模型等等。

如果您對此感興趣,請參與其中!您可以 fork 儲存庫 和/或監控 JIRA。現在實際上是一個全新的開始,但我們希望確保我們的社群成員有機會從第一線開始參與。與往常一樣,我們認為來自廣泛且熱情的社群的回饋是我們最大的資產。在過去一年中,我們進行了大量的原型設計,因此您很快就會看到一些程式碼發布。此外,我們計劃在每次 sprint 後發布部落格,以便您可以追蹤進度。而且,如果您還沒有註冊 SpringOne,請務必註冊;Spring XD 將成為重點特色。

最後,請務必註冊參加我們明天(4 月 24 日)的線上直播活動:Pivotal:新時代的新平台

1XD = eXtreme Data 或 'x' 如 y = mx + b ;-)

取得 Spring 電子報

與 Spring 電子報保持聯繫

訂閱

領先一步

VMware 提供訓練與認證,加速您的進展。

了解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位檔案。

了解更多

即將到來的活動

查看 Spring 社群中所有即將到來的活動。

查看全部