Skip to main content
AnythingLLM to klient open source pozycjonowany jako „dokument → prywatny ChatGPT”, którego podstawową koncepcją jest Workspace — każdy Workspace to zestaw dokumentów, zestaw użytkowników i zestaw narzędzi Agent, izolowane niezależnie. Został zaprojektowany specjalnie do rozmów z dokumentami i oferuje zarówno aplikację desktopową, jak i wersję Docker. W LLM Provider ma wbudowaną opcję OpenAI (Generic), w której można wpisać niestandardowy Base URL, dzięki czemu można bezpośrednio wskazać Ace Data Cloud jako model konwersacyjny. Ten artykuł przedstawia proces konfiguracji.

​
Proces aplikowania

Aby podłączyć Ace Data Cloud w AnythingLLM, najpierw przejdź do konsoli Ace Data Cloud, pobierz swój API Token i zachowaj go do użycia później. Pobieranie klucza API Ace Data Cloud Jeśli nie jesteś jeszcze zalogowany lub zarejestrowany, zostaniesz automatycznie przekierowany na stronę logowania, aby się zarejestrować i zalogować, a po zalogowaniu i rejestracji automatycznie wrócisz na bieżącą stronę. Przy pierwszym aplikowaniu otrzymasz bezpłatny limit, który pozwoli bezpłatnie wypróbować usługi modeli Ace Data Cloud.

​
Pobieranie AnythingLLM

Do użytku osobistego można pobrać wersję desktopową, w której baza wektorowa (LanceDB) działa lokalnie, wyszukiwanie dokumentów odbywa się całkowicie offline, a połączenie z internetem jest wymagane tylko przy wywoływaniu modelu; w scenariuszach zespołowych z wieloma użytkownikami należy użyć wdrożenia Docker.

​
Konfiguracja modelu konwersacyjnego

Uruchom AnythingLLM, przejdź do Settings → LLM Preference, a jako Provider wybierz OpenAI (Generic) (nie wybieraj zwykłego OpenAI, ponieważ jest on na stałe wskazany na api.openai.com i nie ma niestandardowego Base URL). Oficjalną dokumentację znajdziesz w OpenAI (Generic) LLM Provider. Ekran konfiguracji Generic OpenAI w AnythingLLM
Możliwości modelu i górny limit kontekstu należy sprawdzać w bieżącym katalogu modeli.
Zwróć uwagę na reguły ścieżki Base URL:

​
Konfiguracja modelu Embedding

Rdzeniem AnythingLLM jest RAG, który wymaga modelu osadzania do wektoryzacji dokumentów. Jego Embedding Preference i LLM Preference to dwa niezależne zestawy konfiguracji — zobacz przegląd konfiguracji Embedder. Wbudowany AnythingLLM Embedder（Built-in / Native） działa bezpośrednio lokalnie, jest gotowy do użycia od razu i nie wymaga konfiguracji, dlatego jest domyślnym i zalecanym wyborem: Przejdź do Settings → Embedding Preference i pozostaw domyślnego Providera AnythingLLM Embedder, bez potrzeby wypełniania jakichkolwiek kluczy. Wektoryzacja dokumentów zostanie wykonana lokalnie, a zarówno oryginalne teksty, jak i wektory będą przechowywane lokalnie w LanceDB, bez przesyłania do chmury.
Kandydaci Embedder w AnythingLLM (chmurowi: OpenAI / Azure OpenAI / Cohere; lokalni: Built-in, LM Studio, LocalAI, Ollama) są integrowani zgodnie z własnymi stałymi formami. Chmurowe osadzanie OpenAI jest na stałe wskazane na api.openai.com i nie obsługuje niestandardowego Base URL; jeśli chcesz użyć niestandardowego endpointu, możesz użyć Embeddera Generic OpenAI (który również ma pole Base URL i może wskazywać na text-embedding-3-large Ace Data Cloud) albo lokalnego Embeddera LocalAI. W tym artykule model konwersacyjny korzysta z Ace Data Cloud, natomiast osadzanie używa lokalnego Embeddera wbudowanego w AnythingLLM, a oba nie wpływają na siebie nawzajem.

​
Wybór modelu

Katalog modeli będzie stale aktualizowany. W pierwszej kolejności użyj listy modeli automatycznie załadowanej przez klienta; gdy wymagane jest ręczne wpisanie, najpierw wyślij żądanie GET https://api.acedata.cloud/v1/models, aby uzyskać bieżące ID modelu, a następnie wybierz zgodnie z obsługiwanymi przez klienta możliwościami kontekstu, obrazów i wywoływania narzędzi.

​
Weryfikacja integracji

Jeśli nie masz pewności, czy problem leży po stronie AnythingLLM, czy sieci, możesz najpierw bezpośrednio zweryfikować endpoint za pomocą curl (zastąp {token} swoim Tokenem):
Zwrócenie obiektu chat.completion zgodnego z OpenAI oznacza, że zarówno Token, jak i endpoint są gotowe; jeśli zostanie zwrócone HTTP 403 used_up, oznacza to, że Token jest prawidłowy, ale saldo jest niewystarczające — wystarczy doładować konto w konsoli.

​
Zaawansowane: Workspace i rozmowy z dokumentami

Po utworzeniu nowego Workspace i przesłaniu dokumentów PDF / Word / Markdown itd., AnythingLLM podzieli je na fragmenty według akapitów, wygeneruje wektory przy użyciu lokalnego Embeddera i zapisze je w lokalnym LanceDB. Podczas rozmowy najpierw wyszuka powiązane fragmenty, a następnie przekaże je wraz z Twoim pytaniem do modelu konwersacyjnego (czyli Ace Data Cloud) w celu uzyskania odpowiedzi, oznaczając źródła cytowań pod odpowiedzią. U góry każdego Workspace można przełączać tryby Query (odpowiedzi wyłącznie na podstawie dokumentów) i Chat (połączenie z wiedzą ogólną); w poważnych scenariuszach zaleca się używanie trybu Query, aby uniknąć halucynacji. Przy wdrożeniu Docker można użyć zmiennych środowiskowych, takich jak GENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY, GENERIC_OPEN_AI_MODEL_PREF, aby wstępnie ustawić tę samą integrację modelu konwersacyjnego i włączyć tryb wielu użytkowników.

​
Często zadawane pytania

​
Komunikat 404 / connection fail

Zwykle Base URL został wpisany jako .../openai/v1 albo brakuje /v1. Zmień go na https://api.acedata.cloud/v1.

​
Brak możliwości rozmowy po przesłaniu dokumentu

Upewnij się, że w Settings → Embedding Preference wybrano dostępny Embedder (domyślny AnythingLLM Embedder może działać lokalnie i nie wymaga dodatkowej konfiguracji), a następnie prześlij dokument ponownie, aby wygenerować wektory.

​
Komunikat 401 Unauthorized

Upewnij się, że w API Key wklejono Token Ace Data Cloud (bez prefiksu Bearer, bez dodatkowych spacji) oraz że saldo przypisanej aplikacji jest wystarczające.

​
Czy lokalne dokumenty będą przesyłane do chmury

Nie. Oryginalna treść dokumentów jest przechowywana lokalnie w LanceDB, a do modelu wysyłane są tylko fragmenty trafione przez wyszukiwanie oraz Twoje pytanie.

​
Dowiedz się więcej