Skip to main content
AnythingLLM ist ein Open-Source-Client mit der Positionierung „Dokumente → privates ChatGPT“. Das Kernkonzept ist Workspace – jeder Workspace besteht aus einer Gruppe von Dokumenten, einer Gruppe von Benutzern und einer Gruppe von Agent-Tools und ist unabhängig isoliert. Es wurde speziell für Dokumenten-Dialoge entwickelt und bietet sowohl eine Desktop-App als auch Docker-Varianten. Unter LLM Provider ist OpenAI (Generic) integriert, wo eine benutzerdefinierte Base URL eingetragen werden kann, sodass das Dialogmodell direkt auf Ace Data Cloud ausgerichtet werden kann. Dieser Artikel stellt den Konfigurationsprozess vor.

​
Antragsprozess

Um Ace Data Cloud in AnythingLLM einzubinden, rufen Sie zunächst die Ace Data Cloud-Konsole auf, holen Sie sich Ihren API-Token und bewahren Sie ihn als Reserve auf. Ace Data Cloud API Key abrufen Wenn Sie noch nicht angemeldet oder registriert sind, werden Sie automatisch zur Anmeldeseite weitergeleitet, um sich zu registrieren und anzumelden. Nach der Anmeldung und Registrierung kehren Sie automatisch zur aktuellen Seite zurück. Bei der ersten Beantragung wird ein kostenloses Guthaben verschenkt, sodass Sie die Modelldienste von Ace Data Cloud kostenlos ausprobieren können.

​
AnythingLLM herunterladen

Für die persönliche Nutzung können Sie die Desktop-Version herunterladen. Die Vektordatenbank (LanceDB) läuft lokal, die Dokumentensuche ist vollständig offline, und nur beim Aufrufen des Modells wird eine Internetverbindung benötigt. Für Team- und Mehrbenutzerszenarien verwenden Sie die Docker-Bereitstellung.

​
Dialogmodell konfigurieren

Starten Sie AnythingLLM und gehen Sie zu Settings → LLM Preference. Wählen Sie als Provider OpenAI (Generic) (wählen Sie nicht das normale OpenAI, da dieses fest auf api.openai.com verweist und keine benutzerdefinierte Base URL besitzt). Die offizielle Dokumentation finden Sie unter OpenAI (Generic) LLM Provider. AnythingLLM Generic OpenAI-Konfigurationsoberfläche
Die Modellfähigkeiten und das Kontextlimit richten sich nach dem aktuellen Modellkatalog.
Beachten Sie die Pfadregeln der Base URL:

​
Embedding-Modell konfigurieren

Der Kern von AnythingLLM ist RAG und benötigt ein Embedding-Modell, um Dokumente zu vektorisieren. Seine Embedding Preference und LLM Preference sind zwei voneinander unabhängige Konfigurationen – siehe Embedder-Konfigurationsübersicht. Der integrierte AnythingLLM Embedder（Built-in / Native） läuft direkt lokal, ist sofort einsatzbereit und erfordert keine Konfiguration; er ist die Standard- und empfohlene Wahl: Gehen Sie zu Settings → Embedding Preference und behalten Sie als Provider den standardmäßigen AnythingLLM Embedder bei. Sie müssen keine Schlüssel eintragen. Er vektorisiert Dokumente lokal; sowohl Originaltexte als auch Vektoren werden in der lokalen LanceDB gespeichert und nicht in die Cloud hochgeladen.
Die Embedder-Optionen von AnythingLLM (Cloud: OpenAI / Azure OpenAI / Cohere; lokal: Built-in, LM Studio, LocalAI, Ollama) werden jeweils in ihren festen Formen eingebunden. Dabei verweist das Cloud-OpenAI-Embedding fest auf api.openai.com und unterstützt keine benutzerdefinierte Base URL; wenn Sie einen benutzerdefinierten Endpunkt verwenden möchten, können Sie den Generic OpenAI Embedder verwenden (ebenfalls mit einem Base-URL-Feld, das auf text-embedding-3-large von Ace Data Cloud verweisen kann) oder den lokalen LocalAI Embedder. Das Dialogmodell in diesem Artikel verwendet Ace Data Cloud, während das Embedding den integrierten lokalen Embedder von AnythingLLM verwendet; beide beeinflussen sich nicht gegenseitig.

​
Modell auswählen

Der Modellkatalog wird kontinuierlich aktualisiert. Verwenden Sie bevorzugt die automatisch vom Client geladene Modellliste; wenn eine manuelle Eingabe erforderlich ist, fragen Sie zunächst GET https://api.acedata.cloud/v1/models ab, um die aktuelle Modell-ID zu erhalten, und wählen Sie dann entsprechend den vom Client unterstützten Fähigkeiten für Kontext, Bilder und Tool-Aufrufe.

​
Integration überprüfen

Wenn Sie nicht sicher sind, ob das Problem bei AnythingLLM oder beim Netzwerk liegt, können Sie zunächst den Endpunkt direkt mit curl überprüfen (ersetzen Sie {token} durch Ihren Token):
Die Rückgabe eines OpenAI-kompatiblen chat.completion-Objekts bedeutet, dass sowohl Token als auch Endpunkt bereit sind; wenn HTTP 403 used_up zurückgegeben wird, bedeutet dies, dass der Token gültig ist, aber das Guthaben nicht ausreicht. Laden Sie es einfach in der Konsole auf.

​
Erweitert: Workspace und Dokumenten-Dialog

Laden Sie nach dem Erstellen eines neuen Workspace PDF-, Word-, Markdown- und andere Dokumente hoch. AnythingLLM teilt diese nach Absätzen auf, erzeugt mit dem lokalen Embedder Vektoren und speichert sie in der lokalen LanceDB. Beim Dialog ruft es zunächst relevante Ausschnitte ab und übergibt dann die Ausschnitte zusammen mit Ihrer Frage an das Dialogmodell (also Ace Data Cloud) zur Beantwortung; unter der Antwort werden die zitierten Quellen markiert. Oben in jedem Workspace können Sie zwischen den Modi Query (Antworten nur auf Grundlage der Dokumente) und Chat (Mischung mit allgemeinem Wissen) wechseln. Für ernsthafte Szenarien wird empfohlen, den Query-Modus zu verwenden, um Halluzinationen zu vermeiden. Bei der Docker-Bereitstellung können Umgebungsvariablen wie GENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY, GENERIC_OPEN_AI_MODEL_PREF verwendet werden, um dieselbe Dialogmodell-Integration voreinzustellen und den Mehrbenutzermodus zu aktivieren.

​
Häufige Fragen

​
Hinweis 404 / connection fail

In der Regel wurde die Base URL als .../openai/v1 eingetragen oder /v1 vergessen. Ändern Sie sie zu https://api.acedata.cloud/v1.

​
Nach dem Hochladen eines Dokuments ist kein Dialog möglich

Bitte bestätigen Sie, dass unter Settings → Embedding Preference ein verwendbarer Embedder ausgewählt ist (der standardmäßige AnythingLLM Embedder kann lokal ausgeführt werden und erfordert keine zusätzliche Konfiguration), und laden Sie das Dokument erneut hoch, um Vektoren zu erzeugen.

​
Hinweis 401 Unauthorized

Bitte bestätigen Sie, dass im API Key das Token von Ace Data Cloud eingefügt ist (ohne das Präfix Bearer, ohne zusätzliche Leerzeichen) und dass das Guthaben der zugehörigen Anwendung ausreichend ist.

​
Werden lokale Dokumente in die Cloud hochgeladen

Nein. Die Originaltexte der Dokumente werden lokal in LanceDB gespeichert, nur die bei der Suche gefundenen Ausschnitte und Ihre Frage werden an das Modell gesendet.

​
Mehr erfahren