這篇部落格文章由我們的傑出貢獻者 Thomas Vitale 共同撰寫。

Ollama 現在支援來自 Hugging Face 的所有 GGUF 模型，透過 Spring AI 的 Ollama 整合，可存取超過 45,000 個社群建立的模型，並可在本機執行。

我們將探索如何將這項新功能與 Spring AI 結合使用。Spring AI Ollama 整合可以自動提取聊天完成和嵌入模型中不可用的模型。這在切換模型或部署到新環境時非常有用。

設定 Spring AI 與 Ollama

在您的系統上安裝 Ollama：https://ollama.dev.org.tw/download。

提示：Spring AI 也支援透過 Testcontainers 執行 Ollama 或透過 Kubernetes 服務綁定與外部 Ollama 服務整合…

在快速發展的人工智慧世界中，開發人員不斷尋求增強其 AI 應用程式的方法。Spring AI 是一個用於建置 AI 驅動應用程式的 Java 框架，它引入了一項強大的功能：Spring AI Advisors。

Advisors 可以增強您的 AI 應用程式，使其更模組化、可攜式且更易於維護。

如果閱讀文章不方便，您可以收聽這個實驗性Podcast，由 AI 從部落格內容產生

什麼是 Spring AI Advisors？

Spring AI Advisors 的核心是組件，它會攔截並可能修改您的 AI 應用程式中聊天完成請求和回應的流程。此系統中的關鍵角色是 AroundAdvisor…

Spring AI 現在支援 NVIDIA 的大型語言模型 API，提供與各種 模型 的整合。透過利用 NVIDIA 與 OpenAI 相容的 API，Spring AI 允許開發人員透過熟悉的 Spring AI API 使用 NVIDIA 的 LLM。

我們將探索如何配置和使用 Spring AI OpenAI 聊天用戶端來連接 NVIDIA LLM API。

• 示範應用程式程式碼可在 nvidia-llm GitHub 儲存庫中取得。
• SpringAI / NVIDIA 整合文件。

先決條件

• 建立具有足夠額度的 NVIDIA 帳戶。
• 從 NVIDIA 的產品中選擇您偏好的 LLM 模型。例如，以下螢幕截圖中的 meta/llama-3.1-70b-instruct。
• 從模型的頁面中，取得您選擇模型的 API 金鑰。
…

OpenAI 最近推出了一項名為「結構化輸出」的強大功能，可確保 AI 產生的回應嚴格遵守預定義的 JSON 結構描述。此功能顯著提高了 AI 產生內容在實際應用中的可靠性和可用性。今天，我們很高興宣布 Spring AI (1.0.0-SNAPSHOT) 已完全整合支援 OpenAI 的結構化輸出，以無縫、Spring 原生的方式將此功能帶給 Java 開發人員。

以下圖表顯示新的結構化輸出功能如何擴展 OpenAI Chat API

注意： Spring AI 已經提供了一個強大的、模型不可知的結構化輸出實用程式，可用於各種 AI 模型，包括 OpenAI。OpenAI 結構化輸出功能提供了一個額外的、一致的，但模型特定的解決方案，目前僅適用於 gpt-4o、gpt-4o-mini 和更新的模型。

…

更快的資訊處理不僅提供資訊，還轉變了我們感知和創新的方式。

Spring AI 是一個將 AI 功能整合到 Spring 應用程式的強大框架，現在提供對 Groq 的支援 - Groq 是一個極速 AI 推理引擎，支援工具/函式呼叫。

透過利用 Groq 與 OpenAI 相容的 API，Spring AI 透過調整其現有的 OpenAI Chat 用戶端來實現無縫整合。這種方法使開發人員能夠透過熟悉的 Spring AI API 來使用 Groq 的高效能模型。

我們將探索如何配置和使用 Spring AI OpenAI 聊天用戶端來連接 Groq。如需詳細資訊，請參閱 Spring AI Groq 文件 和相關的 測試…

本週稍早，Ollama 推出了一項令人興奮的新功能：大型語言模型 (LLM) 的工具支援。

今天，我們很高興宣布 Spring AI (1.0.0-SNAPSHOT) 已完全採用這項強大的功能，將 Ollama 的函式呼叫功能帶入 Spring 生態系統。

Ollama 的工具支援允許模型決定何時呼叫外部函式以及如何使用傳回的資料。這開啟了無限的可能性，從存取即時資訊到執行複雜的計算。Spring AI 採用了這個概念，並將其與…無縫整合。

更新：（2024 年 6 月 4 日） 新增了搭配新的流暢 ChatClient API 使用結構化輸出的程式碼片段。

更新：（2024 年 5 月 17 日） 為 BeanOutputConverter 新增 泛型型別 支援。

科學使用區塊、位元和片段來工作，並假定連續性，而藝術僅使用事物的連續性來工作，並假定區塊、位元和片段。- Robert M. Pirsig

對於依賴可靠解析輸出值的下游應用程式而言，LLM 產生結構化輸出的能力非常重要。開發人員希望快速將 AI 模型的結果轉換為資料類型，例如…

更新 2024 年 7 月 20 日：更新訊息 API 層級圖，並更新支援多模態的模型名稱

更新 2024 年 6 月 2 日：新增額外的程式碼片段，展示如何使用新的 ChatClient API。

人類跨越多種資料輸入模式同時處理知識。我們的學習方式、我們的經驗都是多模態的。我們不只有視覺、只有聽覺和只有文字。

現代教育之父約翰·阿摩司·康米紐斯在他的著作《世界圖解》（Orbis Sensualium Pictus），可追溯至 1658 年，闡述了這些基本的學習原則。

「所有自然相關的事物都應該結合起來教導」

…

更新：截至 2024 年 3 月 13 日，Mistral AI 已將平行函式呼叫支援整合到其大型模型中，這是在本部落格文章首次發布時所沒有的功能。

Mistral AI 是一家領先的開放原始碼大型語言模型開發商，宣布在其尖端模型中新增了 函式呼叫 支援。

函式呼叫 是一項促進 LLM 與外部工具和 API 整合的功能。它使語言模型能夠請求執行用戶端函式，使其能夠存取必要的執行時期資訊或執行任務…

什麼是 Spring Cloud Function？

Spring Cloud Function 是一個基於 SpringBoot 的框架，讓使用者可以專注於他們的業務邏輯，方法是將其實現為 Java 函式（即 Supplier、Function、Consumer）。反過來，該框架提供了必要的抽象，以在各種環境（例如 REST、串流）以及無伺服器環境（例如 AWS Lambda 或 Azure Functions）中執行這些函式，而無需擔心底層平台特定的詳細資訊。這讓開發人員可以專注於編寫他們的業務邏輯，並讓框架處理…