搶先一步
VMware 提供培訓和認證,以加速您的進度。
瞭解更多今天,我們很高興宣布 Spring XD 1.2、Spring XD 1.1.3 的正式版發布,以及 Flo for Spring XD Beta 版本的發布。
1.2 版本包含範圍廣泛的新功能和改進。 這次的發布之旅非常精彩,主要是因為 Spring XD 在許多不同的群體中廣受歡迎,每個群體都有各自的優先需求。 然而,Spring XD 團隊迎接了挑戰,回顧一下為簡化大數據複雜性而交付的創新數量,真是令人欣慰。
以下是我們在過去 3 個月內忙碌的工作以及為社群和我們的客戶創造的價值的摘要。
##Flo for Spring XD 和 UI 改善
Flo for Spring XD 是一個 HTML5 canvas 應用程式,可在 Spring XD 執行階段之上執行,提供圖形介面,用於建立、管理和監控串流資料管線。 這是一個簡短的螢幕錄影,向您展示如何建構進階的串流定義。
您可以瀏覽文件,以取得其他資訊以及 Flo 實際操作的其他螢幕錄影連結。
XD 管理畫面還包含一個新的 Analytics 區段,可讓您輕鬆檢視量表、計數器、欄位值計數器和聚合計數器。
##效能改善
為了預期日益增長的高輸送量和低延遲 IoT 需求,我們在底層訊息匯流排實作中進行了多項效能最佳化,以便在使用 Kafka 作為傳輸工具的 Spring XD 容器之間傳輸每秒數百萬條訊息。 透過這些最佳化,我們現在與 Kafka 自身測試工具的效能相當。 然而,我們使用的是功能更豐富的 Spring Integration Kafka 客戶端,而不是 Kafka 的高階消費者程式庫。
對於任何有興趣重現這些數字的人,請參閱 XD 基準測試部落格,其中詳細描述了執行的測試和使用的基礎架構。
##Apache Ambari 和 Pivotal HD
為了協助自動化在 Apache HadoopⓇ 叢集上部署 Spring XD,我們新增了一個 適用於 Spring XD 的 Apache AmbariⓇ 插件。 該插件在 Pivotal HD 3.0 和 Hortonworks HDP 2.2 發行版上都支援。 我們還在 Spring XD 中新增了對 Pivotal HD 3.0 的支援,使 支援的 Hadoop 版本總數達到五個。
##新的來源、處理器、接收器和批次作業
Spring XD 的最大價值主張之一是其完整的一系列現成可用的資料連線配接器,可用於建立即時和基於批次的資料管線,並且對於常見的用例,這些配接器幾乎不需要使用者程式碼。 在社群貢獻的幫助下,我們現在擁有 MongoDB、VideCap 和 FTP 作為來源模組、一個 XSLT-transformer 處理器和一個 FTP 接收器模組。 XD 團隊還開發了一個 Cassandra 接收器和一個 語言偵測處理器。
我們認識到 Pivotal Big Data 產品組合中的重要角色,因此我們也透過 gpfdist 接收器針對即時串流新增了與 Pivotal Greenplum Database 和 Pivotal HAWQ 的原生整合,並支援 基於 gpload 的批次作業。
為了提高開發人員的生產力並在生產中使用 Spring XD 進行高容量資料擷取用例,我們很高興表揚 Simon Tao 和 Yu Cao(EMC² Office of The CTO & Labs China),他們自 2014 年以來一直在生產中運行 Spring XD 資料管線,並貢獻了 VideCap 來源模組。 他們的用例和實作細節(用他們自己的話來說)如下。
「對於從大量非結構化視訊串流中提取洞察力的視訊監控行業來說,存在顯著的需求。 在由資料科學家分析之前,首先需要擷取視訊監控資料。 為了應對這一挑戰,我們使用 Spring XD 建構了一個高度可擴展且可擴充的視訊資料擷取平台。 該平台已準備好在營運上擷取不同種類的視訊來源到集中式大數據湖中。 鑑於 Spring XD 中的現成可用功能,該平台旨在允許豐富的視訊內容處理功能,例如視訊轉碼和物件偵測等。」
「該平台還支援各種類型的視訊來源 - 資料處理器和資料匯出目的地(例如 HDFS、Gemfire XD 和 Spark)- 這些來源構建為 Spring XD 中的自訂模組,並且高度可重複使用和可組合。 透過宣告式 DSL,視訊擷取串流將由視訊擷取管線處理,該管線定義為模組的 Directed Acyclic Graph。 該管線設計為部署在叢集環境中,上游模組透過訊息匯流排將資料有效率地傳輸到下游模組。 Spring-XD 分散式執行階段允許管線中的每個模組擁有多個實例,這些實例在不同的節點上並行執行。 透過水平擴展,我們的系統能夠支援大規模視訊監控部署,其中包含大量視訊資料和複雜的資料處理工作負載。」
##自訂模組登錄檔和 HA 支援
雖然我們可以靈活地配置共用網路位置,以實現自訂模組的分散式可用性(透過:xd.customModule.home),但我們也認識到使模組登錄檔在失敗情況下具有彈性的重要性 - 因此,我們有一個 HDFS 支援的模組登錄檔。 為生產部署設定此設定可提供自訂模組位元的一致可用性以及業務需求所需的選擇彈性。
##Pivotal Cloud Foundry 整合
為了進一步推動 Pivotal Cloud Foundry 整合工作,我們對 Spring XD 執行階段進行了一些基礎層級的變更,因此我們能夠在 Lattice 和 Diego 中將 Spring XD 模組作為雲端原生應用程式運行。 我們有積極的路線圖計劃,以在 Diego 上正確啟動 Spring XD。 在研究 Diego 的 Receptor API(以 Go! 撰寫)時,我們建立了一個 Java Receptor API,現在已提交給 Cloud Foundry 進行孵化。
##後續步驟
我們有一些非常有趣的發展即將到來。 也許最重要的是,我們將啟動新的專案,重點關注訊息驅動和批次導向的「資料微服務」。 這些專案將分別直接在 Spring Boot 以及 Spring Integration 和 Spring Batch 上建構。 我們的主要目標是為建立雲端原生、以資料為中心的微服務應用程式提供最簡單的開發人員體驗。 反過來,Spring XD 2.0 將被重構為這些專案之上的層,以支援將這些資料微服務組合成串流和作業,以及它今天提供的所有「即服務」方面,但它將主要關注部署到 Cloud Foundry 和 Lattice。 我們將很快發布有關這些新專案的更多資訊,敬請關注!
意見反應非常重要,因此請透過以下方式聯絡我們並提出問題和意見:
spring-xd
標籤編者註:©2015 Pivotal Software, Inc. 保留所有權利。 Pivotal、Pivotal HD、Pivotal Greenplum Database、Pivotal Gemfire 和 Pivotal Cloud Foundry 是 Pivotal Software, Inc. 在美國和/或其他國家/地區的商標和/或註冊商標。 Apache、Apache Hadoop、Hadoop 和 Apache Ambari 是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。