Skip to main content
AnythingLLM 是一款定位「文件 → 私有 ChatGPT」的開源用戶端,核心概念是 Workspace——每個 Workspace 是一組文件、一組使用者與一組 Agent 工具,獨立隔離。它專為文件對話設計,提供桌面 App 與 Docker 雙形態。在 LLM Provider中,它內建了 OpenAI (Generic) 這一項,可填寫自訂 Base URL,因此能直接把對話模型指向 Ace Data Cloud。本文介紹設定流程。

申請流程

要在 AnythingLLM 中接入 Ace Data Cloud,首先到 Ace Data Cloud 控制台,取得您的 API Token,留作備用。 取得 Ace Data Cloud API Key 如果你尚未登入或註冊,會自動跳轉到登入頁面邀請您來註冊和登入,登入註冊之後會自動返回目前頁面。 在首次申請時會有免費額度贈送,可以免費體驗 Ace Data Cloud 的模型服務。

下載 AnythingLLM

個人使用可下載 桌面版,向量資料庫(LanceDB)跑在本機,搜尋文件完全離線、僅調用模型時連網;團隊多使用者情境用 Docker 部署。

設定對話模型

啟動 AnythingLLM,進入 Settings → LLM Preference,Provider 選擇 OpenAI (Generic)(不要選普通的 OpenAI,那個固定指向 api.openai.com,沒有自訂 Base URL)。官方文件參見 OpenAI (Generic) LLM Provider。 AnythingLLM Generic OpenAI 設定介面
模型能力與上下文上限以目前模型目錄為準。
注意 Base URL 的路徑規則:

設定 Embedding 模型

AnythingLLM 的核心是 RAG,需要一個嵌入模型把文件向量化。它的 Embedding Preference 與 LLM Preference 是相互獨立的兩套設定——參見 Embedder 設定總覽。其內建的 AnythingLLM Embedder(Built-in / Native) 直接在本機執行,開箱即用、零設定,是預設且推薦的選擇: 進入 Settings → Embedding Preference,Provider 保持預設的 AnythingLLM Embedder 即可,無需填寫任何金鑰。它會在本機完成文件向量化,原文與向量都存在本機 LanceDB,不上雲。
AnythingLLM 的 Embedder 候選項(雲端:OpenAI / Azure OpenAI / Cohere;本機:Built-in、LM Studio、LocalAI、Ollama)均按各自固定形態接入。其中雲端 OpenAI 嵌入固定指向 api.openai.com、不支援自訂 Base URL;若希望走自訂端點,可使用 Generic OpenAI Embedder(同樣帶 Base URL 欄位,可指向 Ace Data Cloud 的 text-embedding-3-large)或本機 LocalAI Embedder。本文對話模型走 Ace Data Cloud,嵌入則使用 AnythingLLM 內建的本機 Embedder,兩者互不影響。

選擇模型

模型目錄會持續更新。優先使用用戶端自動載入的模型清單;需要手動填寫時,先請求 GET https://api.acedata.cloud/v1/models 取得目前模型 ID,再按用戶端支援的上下文、圖片和工具呼叫能力選擇。

驗證對接

如果不確定問題出在 AnythingLLM 還是網路,可以先用 curl 直接驗證端點(把 {token} 替換為你的 Token):
返回 OpenAI 相容的 chat.completion 物件即說明 Token 與端點都已就緒;若返回 HTTP 403 used_up 則表示 Token 有效但餘額不足,到 控制台 儲值即可。

進階:Workspace 與文件對話

新建 Workspace 後上傳 PDF / Word / Markdown 等文件,AnythingLLM 會按段落切分、用本機 Embedder 產生向量並存入本機 LanceDB。對話時它會先檢索相關片段,再把片段與你的問題一起交給對話模型(即 Ace Data Cloud)回答,並在回答下方標註引用來源。每個 Workspace 頂部可切換 Query(只基於文件回答)與 Chat(混合通用知識)模式,嚴肅情境建議用 Query 模式避免幻覺。Docker 部署時可用 GENERIC_OPEN_AI_BASE_PATH、GENERIC_OPEN_AI_API_KEY、GENERIC_OPEN_AI_MODEL_PREF 等環境變數預設同樣的對話模型接入,並開啟多使用者模式。

常見問題

提示 404 / connection fail

通常是 Base URL 寫成了 .../openai/v1 或漏了 /v1。改成 https://api.acedata.cloud/v1。

上傳文件後無法對話

請確認 Settings → Embedding Preference 裡選了可用的 Embedder(預設的 AnythingLLM Embedder 即可在本機執行,無需額外設定),並重新上傳文件以產生向量。

提示 401 Unauthorized

請確認 API 金鑰中貼上的是 Ace Data Cloud 的 Token(不含 Bearer 前綴、無多餘空格),且所屬應用程式的餘額充足。

本機文件會上傳到雲端嗎

不會。文件原文存在本機 LanceDB,只有檢索命中的片段與你的問題會傳送給模型。

了解更多