我們很高興地宣布 Spring for Apache Hadoop 2.0 RC4 版本現已推出。

現在包含簡化建置 YARN 應用程式的支援

我們正接近 Spring for Apache Hadoop 2.0 的 GA 版本。基於在 Spring XD 專案中使用 Spring Boot 對 YARN 的支援所獲得的回饋，我們已經改進了用於開發 YARN 應用程式的程式設計模型。

挑戰

我們不斷挑戰 Janne 使模型更簡單。 最近的挑戰是使撰寫單個 Java 原始程式檔加上一個設定檔成為可能，並將其保持在 50 行以下。 我認為我們非常接近了

@ComponentScan
@EnableAutoConfiguration
public class Application {

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }

    @YarnComponent
    @Profile("container")
    public static class HelloPojo {

        private static final Log log = LogFactory.getLog(HelloPojo.class);

        @OnContainerStart
        public void onStart() throws Exception {
            log.info("Hello from YARN!");
        }
    }

}

spring:
    hadoop:
        fsUri: hdfs://127.0.0.1:8020
        resourceManagerHost: localhost
    yarn:
        appName: yarn-demo
        applicationDir: /apps/yarn-demo/
        client:
            startup:
                action: submit
            localizer:
                patterns:
                  - "yarn-demo*jar"
            files:
              - "file:target/yarn-demo-0.1.0.jar"
            launchcontext:
                archiveFile: yarn-demo-0.1.0.jar
        appmaster:
            localizer:
                patterns:
                  - "yarn-demo*jar"
            containerCount: 1
            launchcontext:
                archiveFile: yarn-demo-0.1.0.jar
                arguments:
                    --spring.profiles.active: container

使用 spring-boot-maven-plugin，建置會建立包含所有相依性的單個 jar。 然後，當應用程式提交到 YARN 時，此 jar 會上傳到 HDFS 並進行本地化。 @Profile("container") 註解確保此 bean 僅用於實際的 YARN 容器，而不適用於執行 YARN 客戶端或 YARN appmaster 時。

包含 Maven 建置腳本和執行應用程式的說明在內的原始程式碼可在 我的 GitHub 儲存庫 中找到。

###發布

Spring for Apache Hadoop 2.0 發布的預設發行版本是當前的 Apache Hadoop 2 穩定版本，即 2.2.0。

我們繼續在 Spring IO 里程碑儲存庫中提供特定版本的工件及其各自的傳遞相依性

• 2.0.0.RC4 (預設 - Apache Hadoop 穩定版本 2.2.0)
• 2.0.0.RC4-hadoop12 (Apache Hadoop 穩定版本 1.2.1)
• 2.0.0.RC4-phd1 (Pivotal HD 1.1)
• 2.0.0.RC4-phd20 (Pivotal HD 2.0)
• 2.0.0.RC4-cdh4 (Cloudera CDH4 MR1)
• 2.0.0.RC4-cdh5 (Cloudera CDH5 YARN)
• 2.0.0.RC4-hdp13 (Hortonworks HDP 1.3)
• 2.0.0.RC4-hdp20 (Hortonworks HDP 2.0)
• 2.0.0.RC4-hdp21 (Hortonworks HDP 2.1)

有關如何使用這些版本進行建置的說明，請參閱專案 wiki。

如需更多專案特定資訊，請參閱專案頁面。