Skip to main content
AnythingLLM är en klient med öppen källkod som är inriktad på ”dokument → privat ChatGPT”. Kärnkonceptet är Workspace — varje Workspace är en uppsättning dokument, en uppsättning användare och en uppsättning Agent-verktyg, separat isolerade. Den är särskilt utformad för dokumentkonversationer och erbjuder både en skrivbordsapp och Docker-form. I LLM Provider har den det inbyggda alternativet OpenAI (Generic), där du kan ange en anpassad Base URL, och därför kan konversationsmodellen direkt peka på Ace Data Cloud. Den här artikeln introducerar konfigurationsprocessen.

​
Ansökningsprocess

För att ansluta Ace Data Cloud i AnythingLLM går du först till Ace Data Cloud-konsolen, hämtar din API Token och sparar den för senare användning. Hämta Ace Data Cloud API Key Om du ännu inte har loggat in eller registrerat dig omdirigeras du automatiskt till inloggningssidan där du uppmanas att registrera dig och logga in. Efter inloggning och registrering återgår du automatiskt till den aktuella sidan. Vid den första ansökan får du en kostnadsfri kvot, så att du gratis kan prova Ace Data Clouds modelltjänster.

​
Ladda ner AnythingLLM

För personlig användning kan du ladda ner skrivbordsversionen. Vektordatabasen (LanceDB) körs lokalt, dokumentsökning sker helt offline och internetanslutning används endast när modellen anropas; för team- och fleranvändarscenarier används Docker-distribution.

​
Konfigurera konversationsmodellen

Starta AnythingLLM, gå till Settings → LLM Preference, och välj OpenAI (Generic) som Provider (välj inte vanliga OpenAI, eftersom den är fast riktad mot api.openai.com och saknar anpassad Base URL). Se den officiella dokumentationen OpenAI (Generic) LLM Provider. AnythingLLM Generic OpenAI-konfigurationsgränssnitt
Modellfunktioner och kontextgränser baseras på den aktuella modellkatalogen.
Observera sökvägsreglerna för Base URL:

​
Konfigurera Embedding-modellen

Kärnan i AnythingLLM är RAG, vilket kräver en inbäddningsmodell för att vektorisera dokument. Dess Embedding Preference och LLM Preference är två oberoende konfigurationer — se översikt över Embedder-konfiguration. Den inbyggda AnythingLLM Embedder（Built-in / Native） körs direkt lokalt, fungerar direkt utan konfiguration och är det standardval och rekommenderade alternativet: Gå till Settings → Embedding Preference, och behåll standardprovidern AnythingLLM Embedder. Du behöver inte fylla i några nycklar. Den slutför dokumentvektorisering lokalt; både originaltexten och vektorerna lagras i lokala LanceDB och laddas inte upp till molnet.
AnythingLLM:s Embedder-alternativ (moln: OpenAI / Azure OpenAI / Cohere; lokalt: Built-in, LM Studio, LocalAI, Ollama) ansluts alla enligt sina respektive fasta format. OpenAI-inbäddning i molnet är fast riktad mot api.openai.com och stöder inte en anpassad Base URL; om du vill använda en anpassad slutpunkt kan du använda Generic OpenAI Embedder (som också har ett Base URL-fält och kan peka på Ace Data Clouds text-embedding-3-large) eller lokala LocalAI Embedder. I den här artikeln använder konversationsmodellen Ace Data Cloud, medan inbäddning använder AnythingLLM:s inbyggda lokala Embedder; de två påverkar inte varandra.

​
Välj modell

Modellkatalogen uppdateras kontinuerligt. Använd i första hand modellistan som laddas automatiskt av klienten; när du behöver fylla i manuellt, begär först GET https://api.acedata.cloud/v1/models för att hämta aktuella modell-ID:n och välj sedan enligt de kontext-, bild- och verktygsanropsfunktioner som klienten stöder.

​
Verifiera anslutningen

Om du är osäker på om problemet ligger i AnythingLLM eller nätverket kan du först använda curl för att direkt verifiera slutpunkten (ersätt {token} med din Token):
Om ett OpenAI-kompatibelt chat.completion-objekt returneras betyder det att både Token och slutpunkten är redo; om HTTP 403 used_up returneras betyder det att Token är giltig men att saldot är otillräckligt. Gå då till konsolen för att fylla på.

​
Avancerat: Workspace och dokumentkonversationer

Efter att du har skapat ett nytt Workspace och laddat upp PDF-, Word-, Markdown- och andra dokument kommer AnythingLLM att dela upp dem efter stycken, använda den lokala Embedder för att generera vektorer och lagra dem i lokala LanceDB. Vid konversation söker den först efter relevanta segment och skickar sedan segmenten tillsammans med din fråga till konversationsmodellen (det vill säga Ace Data Cloud) för svar, och markerar citerade källor under svaret. Överst i varje Workspace kan du växla mellan lägena Query (svarar endast baserat på dokument) och Chat (blandar allmän kunskap). I seriösa scenarier rekommenderas Query-läget för att undvika hallucinationer. Vid Docker-distribution kan miljövariabler som GENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY och GENERIC_OPEN_AI_MODEL_PREF användas för att förinställa samma anslutning för konversationsmodellen och aktivera fleranvändarläge.

​
Vanliga frågor

​
Meddelandet 404 / connection fail

Vanligtvis beror det på att Base URL har skrivits som .../openai/v1 eller att /v1 saknas. Ändra till https://api.acedata.cloud/v1.

​
Det går inte att konversera efter att dokument har laddats upp

Kontrollera att en tillgänglig Embedder har valts i Settings → Embedding Preference (standardvalet AnythingLLM Embedder kan köras lokalt och kräver ingen ytterligare konfiguration), och ladda upp dokumenten igen för att generera vektorer.

​
Meddelandet 401 Unauthorized

Bekräfta att det som klistras in i API Key är Ace Data Clouds Token (utan prefixet Bearer, utan extra mellanslag), och att saldot för den tillhörande applikationen är tillräckligt.

​
Kommer lokala dokument att laddas upp till molnet

Nej. Dokumentens originaltext lagras i lokala LanceDB, och endast de fragment som träffas vid sökningen samt din fråga skickas till modellen.

​
Läs mer