Процес подання заявки
Щоб підключити Ace Data Cloud в AnythingLLM, спочатку перейдіть до консолі Ace Data Cloud, отримайте ваш API Token і збережіть його для подальшого використання.
Якщо ви ще не увійшли в систему або не зареєструвалися, вас буде автоматично перенаправлено на сторінку входу із запрошенням зареєструватися та увійти, після чого ви автоматично повернетеся на поточну сторінку.
Під час першого подання заявки надається безкоштовний ліміт, який дозволяє безкоштовно випробувати модельні сервіси Ace Data Cloud.
Завантаження AnythingLLM
Для особистого використання можна завантажити десктопну версію, векторна база даних (LanceDB) працює локально, пошук документів повністю офлайн, а підключення до мережі потрібне лише під час виклику моделі; для командних багатокористувацьких сценаріїв використовуйте розгортання Docker.Налаштування моделі діалогу
Запустіть AnythingLLM, перейдіть до Settings → LLM Preference, у Provider виберіть OpenAI (Generic) (не вибирайте звичайний OpenAI, оскільки він фіксовано вказує наapi.openai.com і не має власного Base URL). Дивіться офіційну документацію OpenAI (Generic) LLM Provider.
Можливості моделі та верхня межа контексту визначаються поточним каталогом моделей.Зверніть увагу на правила шляху Base URL:
Налаштування моделі Embedding
Основою AnythingLLM є RAG, для якого потрібна модель вбудовування, щоб векторизувати документи. Її Embedding Preference і LLM Preference — це два незалежні набори налаштувань — дивіться загальний огляд налаштувань Embedder. Вбудований AnythingLLM Embedder（Built-in / Native） безпосередньо працює локально, готовий до використання без налаштування, і є вибором за замовчуванням та рекомендованим вибором: Перейдіть до Settings → Embedding Preference, достатньо залишити Provider за замовчуванням як AnythingLLM Embedder, не потрібно заповнювати жодних ключів. Він виконає векторизацію документів локально, а оригінальний текст і вектори зберігатимуться в локальній LanceDB, не завантажуючись у хмару.Кандидати Embedder в AnythingLLM (хмарні: OpenAI / Azure OpenAI / Cohere; локальні: Built-in, LM Studio, LocalAI, Ollama) підключаються відповідно до власних фіксованих форм. Хмарне OpenAI embedding фіксовано вказує наapi.openai.comі не підтримує власний Base URL; якщо потрібно використовувати власну кінцеву точку, можна застосувати Generic OpenAI Embedder (також має поле Base URL, яке може вказувати наtext-embedding-3-largeAce Data Cloud) або локальний LocalAI Embedder. У цій статті модель діалогу використовує Ace Data Cloud, а для вбудовування застосовується вбудований локальний Embedder AnythingLLM, і вони не впливають один на одного.
Вибір моделі
Каталог моделей постійно оновлюється. Першочергово використовуйте список моделей, автоматично завантажений клієнтом; якщо потрібно заповнити вручну, спочатку надішліть запитGET https://api.acedata.cloud/v1/models, щоб отримати поточний ID моделі, а потім виберіть відповідно до можливостей контексту, зображень і виклику інструментів, які підтримує клієнт.
Перевірка інтеграції
Якщо ви не впевнені, чи проблема в AnythingLLM, чи в мережі, спочатку можна безпосередньо перевірити кінцеву точку за допомогою curl (замініть{token} на ваш Token):
chat.completion означає, що Token і кінцева точка готові; якщо повертається HTTP 403 used_up, це означає, що Token дійсний, але балансу недостатньо, достатньо поповнити рахунок у консолі.
Розширено: Workspace і діалог із документами
Після створення нового Workspace завантажте документи PDF / Word / Markdown тощо, AnythingLLM розділить їх на абзаци, використає локальний Embedder для генерації векторів і збереже їх у локальній LanceDB. Під час діалогу він спочатку знайде релевантні фрагменти, а потім передасть фрагменти разом із вашим питанням моделі діалогу (тобто Ace Data Cloud) для відповіді та позначить джерела цитування під відповіддю. У верхній частині кожного Workspace можна перемикати режими Query (відповіді лише на основі документів) і Chat (поєднання загальних знань), для серйозних сценаріїв рекомендується використовувати режим Query, щоб уникнути галюцинацій. Під час розгортання Docker можна використовувати змінні середовища, такі якGENERIC_OPEN_AI_BASE_PATH, GENERIC_OPEN_AI_API_KEY, GENERIC_OPEN_AI_MODEL_PREF, щоб попередньо налаштувати таке саме підключення моделі діалогу та увімкнути багатокористувацький режим.
Поширені запитання
Повідомлення 404 / connection fail
Зазвичай Base URL записано як.../openai/v1 або пропущено /v1. Змініть на https://api.acedata.cloud/v1.
Неможливо вести діалог після завантаження документа
Будь ласка, переконайтеся, що в Settings → Embedding Preference вибрано доступний Embedder (стандартний AnythingLLM Embedder може працювати локально без додаткового налаштування), і повторно завантажте документ для генерації векторів.Повідомлення 401 Unauthorized
Будь ласка, підтвердьте, що в API Key вставлено Token Ace Data Cloud (без префіксаBearer, без зайвих пробілів), і що баланс відповідного застосунку достатній.