Apache Ambari 與 Spring XD 整合

工程 | Janne Valkealahti | 2015年06月02日 | ...

我們很高興地宣布 Apache Ambari 的第一個 Spring XD 插件版本。

Ambari 是一個叢集佈建工具,用於安裝和管理各種 Apache 專案,例如 HDFS、YARN、Zookeeper 或 Kafka。 Ambari 有一個堆疊定義的概念,Pivotal 和 Hortonworks 都使用它。 堆疊定義通常由維護者支援的元件組成。

此 Ambari 整合新增了對使用 Pivotal HD 3.0Hortonworks HDP 2.2 佈建 Spring XD 的支援。

Spring XD 不是 PHD 或 HDP 的主要 Ambari 發行版的一部分。 但是,透過修改現有堆疊定義的簡單 RPM 安裝,可以輕鬆擴展現有的 Ambari 安裝。

我們在我們的 repo Github spring-xd-ambari 中準備了 安裝說明,以及此插件的原始碼。

在 Pivotal HD 3.0 上,使用外部 Redis 作為訊息匯流排的 Spring XD: PIC PHD

在 Hortonworks HDP 2.2 上,使用 Ambari 託管的 Kafka 作為訊息匯流排的 Spring XD: PIC HDP

成功完成叢集佈建後,可以很容易地從 XD shell 連接到正在執行的 Spring XD 叢集。 指令碼 /etc/springxd/conf/xd-shell.init 會自動建立,其中包含可以載入到 XD shell 中的正確設定。

$ export JAVA_HOME=/usr/jdk64/jdk1.7.0_67
$ xd-shell
server-unknown:>script --file /etc/springxd/conf/xd-shell.init
admin config server http://ambari-2.localdomain:9393
Successfully targeted http://ambari-2.localdomain:9393
hadoop config fs --namenode hdfs://ambari-2.localdomain:8020
Script required 0.625 seconds to execute

xd:>runtime containers
  Container Id                          Host                  IP Address      PID    Groups  Custom Attributes
  ------------------------------------  --------------------  --------------  -----  ------  -----------------
  44c34156-8b8a-4ada-ad46-e5d955b6f995  ambari-6.localdomain  172.16.101.146  6327
  d8273536-c688-4fdd-b370-6bc0f68bdc25  ambari-5.localdomain  172.16.101.145  31199


xd:>hadoop fs ls /
Found 9 items
drwxrwxrwx   - yarn      hadoop           0 2015-06-01 04:55 /app-logs
drwxr-xr-x   - gpadmin   gpadmin          0 2015-06-01 04:52 /hawq_data
drwxr-xr-x   - mapred    hdfs             0 2015-06-01 04:50 /mapred
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:50 /mr-history
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:51 /phd
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:52 /system
drwxrwxrwx   - hdfs      hdfs             0 2015-06-01 04:53 /tmp
drwxr-xr-x   - hdfs      hdfs             0 2015-06-01 04:53 /user
drwxrwxrwx   - spring-xd hdfs             0 2015-06-01 07:29 /xd

寫入 HDFS 可以直接使用。

xd:>stream create --name hdfstest --definition "time|hdfs" --deploy
xd:>stream destroy --name hdfstest

xd:>hadoop fs ls --recursive true --dir /xd
drwxrwxrwx   - spring-xd hdfs          0 2015-06-01 07:29 /xd/hdfstest
-rw-r--r--   3 spring-xd hdfs        680 2015-06-01 07:29 /xd/hdfstest/hdfstest-0.txt

#SpringOne 2GX 2015 即將到來! 請盡早預訂您在華盛頓特區的 SpringOne2GX 的位置。 超級早鳥價格於 6 月 12 日到期! 這是第一手瞭解所有最新資訊並提供直接回饋的最佳機會。

#折扣

  • 超級早鳥價格層級(300 美元折扣)將於 6 月 12 日到期。 早鳥價格層級(6 月 13 日至 8 月 14 日)可享受 150 美元的折扣。
  • 註冊 4 人即可免費獲得第 5 張通行證。 請聯絡我們,告知您前 4 位註冊者的姓名,以取得免費通行證代碼(僅限會議入場)。
  • 校友,請聯絡我們以取得您的折扣代碼(任何選項減免 150 美元)。

取得 Spring 電子報

隨時關注 Spring 電子報

訂閱

領先一步

VMware 提供培訓和認證,以加速您的進度。

瞭解更多

取得支援

Tanzu Spring 在一個簡單的訂閱中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支援和二進位檔。

瞭解更多

即將舉行的活動

查看 Spring 社群中所有即將舉行的活動。

檢視全部