搶先一步
VMware 提供培訓和認證,以加速您的進度。
瞭解更多無論您在家裡、辦公室或在旅途中,連線能力都是常態。 這是我們都已期望並依賴的日常生活的一部分。 人與資訊之間的連線,都是關於資料的移動和分析:資料提供洞察力,而這些洞察力必須越來越快地為使用者提供即時的結果。 這種隨時開啟、隨時可用的連線水準帶來了許多挑戰。 資料類型、格式和數量是動態的,資料產生主體也是如此。
Spring XD 在一個統一的平台上解決了這些眾多挑戰。 無論是透過連續的資料流或基於排程的資料移動,Spring XD 都提供端對端的資料管道功能,以您需要的時間和方式來擷取、處理、分析和暫存資料。
隨著 1.1 GA 版本的發布,Spring XD 通過增加對 Reactor、RxJava 和 Spark Streaming 專案的支援,適應了函數式流處理。除了目前的 Spring Batch 和基於 Hadoop 的工作(MR/Hive/Pig)之外,我們還增加了對 Sqoop 和 Spark 批次工作的支援。 認識到 Python 在大數據應用中的重要性,我們還添加了 Python 處理器和接收器模組,以與 Spring XD 流整合。 這使使用者能夠為用例選擇正確的工具,使他們能夠利用原生 API 來構建複雜的資料處理管道。
與其他流處理框架不同,Spring XD 的 DSL(領域特定語言)消除了編碼要求。 忘記設置專案、IDE、構建腳本或捆綁,而是使用 高階配置 DSL。 Spring XD 團隊繼續專注於開發人員的生產力,這為該平台帶來了眾多對開發人員友好的附加元件和 範例。 一個流,也就是管道中的處理單元鏈,可以通過 DSL 進行協調。 內建的 Admin UI 可用於遠端監視和管理流、批次工作和叢集。
Spring XD 1.1 GA 提供了數千種資料管道組合,可以開箱即用,無需編碼。 與其他流處理框架不同,此功能由企業信任的 Spring Integration 專案提供支持,該專案已被公認為新興標準和 市場佔有率領導者。
Spring XD 的核心是為易於擴展支援而構建的。 1.1 GA 版本為開發和貢獻自訂模組增加了一種新方法。 借助 Spring Boot 的模組封裝外掛程式,您現在可以選擇 Maven 或 Gradle 來捆綁您的自訂模組。 通過包含自訂模組所需的依賴項,您可以通過 REST-API 部署封裝的 uber-jar。 這不需要您關閉運行時,也不需要您擔心當前正在運行的管道。 REST-API 簡化了貢獻,因為已安裝的自訂模組可以立即使用並準備就緒。
由於其可插拔架構,Spring XD 繼續與框架整合,以簡化大數據應用程式開發。 通過此最新版本,您可以從 Kafka 主題 (source-adapter) 擷取或寫入 Kafka 主題 (sink-adapter),也可以作為訊息匯流排插入 Kafka。 這使 Spring XD 能夠處理協調,使您可以專注於業務邏輯。
憑藉我們對新 Kafka Client API 的全新理解,使用者現在可以從新選項中進行選擇,例如在流層級進行分割、控制偏移量、批次處理和可靠的資料重新處理。
1.1 GA 版本還與頂級 Apache 專案 Spark 整合。 通過將開箱即用的 Spark 用作 批次工作,或將 Spark Streaming 用作 處理器模組,您可以使用原生 Spark API 創建資料管道。 對於已經使用 Spark 的人來說,這是一種熟悉的開發體驗。 同時,任何不熟悉 Spark 的人都可以立即利用數十個輸入和輸出配接器,使用模組化和分散式容錯的運行時,並且僅專注於業務需求。 為了解決單點故障,Spring XD 通過重新啟動 Spark Streaming 驅動程式來從故障場景中恢復,從而提供了附加價值。
隨著 Spring XD 1.1 GA 版本的發布,沒有理由說開發大數據應用程式必須耗時且複雜。 我們對 Spring XD 的目標是消除應用程式開發與大數據之間的障礙,並縮短從資料擷取到洞察的周轉時間,從而真正實現資料驅動的應用程式。 在未來的版本中,我們將繼續提高開發人員的生產力,同時保留 Spring XD 的核心作為開放和可擴展的運行時。