LLM-агностична архітектура та оркестрація кількох LLM: як elDoc забезпечує гнучкість моделей для корпоративного AI

Ландшафт генеративного AI розвивається такими темпами, що дедалі складніше обґрунтувати прив’язку корпоративної AI-стратегії до однієї великої мовної моделі (LLM).

Нові моделі постійно з’являються. Наявні моделі вдосконалюються, змінюється ціноутворення, розширюються варіанти розгортання, а вимоги корпоративної безпеки та регуляторні вимоги еволюціонують. Водночас різні моделі демонструють різні переваги у таких завданнях, як міркування, розуміння документів, багатомовна обробка, вилучення даних, узагальнення та інші корпоративні робочі навантаження.

Тому для організацій, які впроваджують AI у різні бізнес-процеси, питання вже не зводиться лише до «Яку LLM нам обрати?»

Важливішим є інше питання:

Як побудувати корпоративну AI-архітектуру, у якій організація зможе використовувати відповідну модель для кожного процесу, зберігаючи при цьому контроль над своїми даними, безпекою, управлінням, розгортанням і майбутнім вибором технологій?

Саме на цьому принципі ґрунтуються LLM-агностична архітектура та можливості оркестрації кількох LLM платформи elDoc.

Замість побудови корпоративних процесів навколо одного постачальника AI, elDoc додає рівень оркестрації між корпоративними застосунками, бізнес-процесами, даними організації та базовими AI-моделями.

У результаті формується архітектура, у якій різні моделі можна використовувати для різних робочих навантажень, кілька моделей можуть одночасно працювати в одному корпоративному середовищі, а чутливі робочі навантаження можуть залишатися повністю ізольованими завдяки приватно розгорнутим моделям.

Одна корпоративна платформа. Кілька AI-моделей.

Різні корпоративні процеси мають принципово різні вимоги.

Процес KYC може охоплювати сотні документів, багатомовний контент, перевірку даних між документами, аналіз ризиків клієнта та складні завдання, що потребують міркування.

Процес перевірки кредитної заявки може потребувати глибокого аналізу фінансової звітності, кредитної документації, інформації про заставу та підтвердних документів.

Під час обробки рахунків-фактур пріоритетними можуть бути вилучення даних з великої кількості документів, їх класифікація, перевірка та автоматизація робочих процесів.

Обробка конфіденційної інформації про клієнтів може висувати зовсім іншу вимогу: дані ніколи не повинні залишати інфраструктуру, контрольовану організацією.

Тому немає підстав вважати, що одна модель завжди буде оптимальною для всіх цих сценаріїв.

З elDoc організації можуть відповідно будувати свою AI-архітектуру.

Наприклад:

• Для обробки KYC можна використовувати Kimi, якщо її можливості відповідають потребам організації в цьому робочому навантаженні.
• Для перевірки кредитних заявок можна використовувати Claude для аналізу документів і виконання складних завдань, що потребують міркування, на основі кредитної документації.
• Для обробки рахунків-фактур можна використовувати моделі OpenAI для розуміння документів, вилучення даних, перевірки та обробки за допомогою генеративного AI.
• Для обробки конфіденційних даних клієнтів можна використовувати open-weight модель, повністю розгорнуту on-premise або у приватній хмарі / VPC організації, забезпечуючи зберігання даних, які обробляються AI, у межах інфраструктури організації.

Усе це не обов’язково реалізовувати як окремі AI-проєкти.

Усі ці рішення можуть працювати в межах єдиної корпоративної платформи elDoc, керованої через спільну архітектуру безпеки, обробки документів, робочих процесів, моніторингу та AI-оркестрації.

Від інтеграції LLM до оркестрації кількох LLM

Підключити застосунок до кількох API LLM відносно просто.

Корпоративна архітектура з кількома LLM потребує значно більшого.

elDoc надає рівень оркестрації GenAI (GenAI Orchestration Layer), який працює між корпоративними застосунками та екосистемою базових моделей. Замість прямої залежності застосунків від певної моделі AI-запити можна керувати через цей рівень оркестрації.

Залежно від реалізованого сценарію рівень оркестрації GenAI elDoc може охоплювати такі можливості:

Можливість оркестрації	Функція
Розуміння наміру	Визначає, чого намагається досягти користувач, процес обробки документів, AI Document Agent або автоматизований робочий процес, і визначає відповідний шлях обробки.
Вибір моделі	Спрямовує кожен запит до найбільш відповідної LLM або мультимодальної моделі з урахуванням сценарію використання, складності завдання, вимог безпеки, політики розгортання, продуктивності та інших заздалегідь визначених критеріїв.
Оптимізація промптів	Адаптує інструкції, контекст і параметри моделі для вибраної моделі та конкретного бізнес-завдання, щоб підвищити якість і стабільність результатів роботи AI.
Синтез відповідей	Перетворює та об’єднує результати роботи моделей у структуровану інформацію, яку можуть використовувати користувачі, застосунки, API, робочі процеси, AI Document Agents або наступні етапи обробки.
Безпека та управління	Забезпечує дотримання корпоративних політик щодо доступу до моделей, обробки даних, схвалених репозиторіїв, дозволів користувачів, операцій AI та вимог до зберігання даних у визначеній юрисдикції.
Спостережуваність та оцінювання	Забезпечує прозорість використання AI, продуктивності моделей, якості обробки, споживання токенів і пов’язаних витрат, що дає змогу безперервно оцінювати та оптимізувати роботу різних моделей і сценаріїв використання.

Мета полягає не просто в підключенні кількох LLM. Йдеться про створення інтелектуального рівня оркестрації, який визначає, яка модель має виконувати конкретне завдання, за яких вимог до безпеки та зберігання даних і з якими показниками продуктивності та витрат.

Такий рівень абстракції особливо важливий, оскільки AI-модель стає замінним компонентом архітектури, а не самою архітектурою.

Відповідна модель для відповідного завдання

LLM-агностична архітектура не означає, що всі моделі розглядаються як однакові.

Навпаки.

Вона враховує відмінності між моделями та перетворює їх на архітектурну перевагу.

Організація може визначити, що одна модель забезпечує кращі результати міркування у складних кредитних справах, тоді як інша має краще співвідношення вартості та продуктивності під час обробки великих обсягів документів. Третя модель може особливо добре працювати з певною мовою або типом документів, важливими для організації.

Для іншого робочого навантаження використання зовнішнього AI-сервісу може бути взагалі заборонене.

elDoc дає змогу організаціям враховувати ці відмінності в AI-архітектурі, замість того щоб змушувати кожен бізнес-процес використовувати одну й ту саму модель.

Таким чином, спрощена конфігурація корпоративного середовища може мати такий вигляд (ілюстративний приклад):

Корпоративний процес	AI-конфігурація	Основна вимога
KYC та комплексна перевірка клієнтів (Customer Due Diligence)	Kimi	Аналіз із використанням великого контексту та обробкою значних обсягів документів
Перевірка кредитних заявок	Claude	Складне міркування та аналіз документів
Обробка рахунків-фактур	OpenAI	Розуміння документів та автоматизована обробка
Конфіденційні дані клієнтів	Приватна open-weight LLM	Обробка on-premise та зберігання даних, які обробляються AI, у межах інфраструктури організації
Внутрішній помічник для роботи зі знаннями	Будь-яка підтримувана LLM	Безпечне отримання інформації зі схвалених репозиторіїв
Візуальне розуміння документів та зображень	Qwen-VL	Мультимодальне розуміння документів, зображень, макетів і візуального контенту

Фактичний вибір моделей залишається рішенням самої організації та може змінюватися разом з розвитком її AI-стратегії.

Зберігання даних AI: коли інформація не може залишати корпоративне середовище

Для банків, державних організацій, закладів охорони здоров’я, фінансових установ та інших регульованих організацій продуктивність моделі є лише одним із чинників під час вибору AI-рішення.

Не менш важливим може бути й те, де саме відбувається обробка даних за допомогою AI.

Деякі документи можуть містити інформацію про клієнтів, фінансові дані, конфіденційні договори, персональні дані, внутрішню корпоративну інформацію або інші дані, на які поширюються регуляторні вимоги.

Тому організації можуть встановлювати різні політики обробки даних за допомогою AI для різних категорій інформації.

Для стандартних робочих навантажень можна використовувати схвалені зовнішні комерційні моделі або комерційні моделі, розміщені у приватному середовищі.

Для роботи з високочутливими даними elDoc можна побудувати з використанням open-weight моделей, розгорнутих у власній інфраструктурі клієнта: on-premise, у приватній хмарі або в контрольованому середовищі VPC.

За такої конфігурації організація може зберігати контроль над такими аспектами:

• де зберігаються документи;
• де обробляються промпти та контекстна інформація;
• де розгорнута LLM;
• до яких репозиторіїв AI дозволено доступ;
• які користувачі та процеси можуть викликати модель;
• де зберігаються результати, згенеровані AI, та журнали подій.

Це перетворює AI data residency на архітектурну можливість, а не просто на положення договору.

Наприклад, банк може дозволити хмарній моделі обробляти певні несенситивні операційні документи, водночас вимагаючи, щоб документи, за якими можна ідентифікувати клієнта, оброблялися виключно внутрішньо розгорнутою моделлю.

Обидва робочі навантаження при цьому можуть оркеструватися через elDoc.

Як уникнути залежності від одного постачальника AI

Залежність від одного постачальника (vendor lock-in) стає дедалі важливішим чинником під час формування корпоративних стратегій Generative AI. AI-модель, яка сьогодні здається оптимальною, не обов’язково залишатиметься оптимальним вибором через два роки.

Постачальник може змінити ціни.

Нове покоління іншої моделі може забезпечувати значно вищу продуктивність.

Модель, яка раніше була доступна лише у хмарі, може стати доступною для приватного розгортання.

Нові регуляторні вимоги можуть вплинути на те, де дозволено обробляти певні робочі навантаження.

Або організація може просто укласти вигіднішу корпоративну угоду з іншим постачальником.

Якщо бізнес-процеси тісно побудовані навколо однієї моделі, зміна постачальника може вимагати суттєвої переробки застосунків.

LLM-агностична архітектура зменшує цю залежність, відокремлюючи архітектуру бізнес-застосунків і обробки документів від базового рівня моделей.

Таким чином, організації можуть оцінювати нові моделі та поступово впроваджувати їх без необхідності перебудовувати все середовище керування документами й автоматизації.

Майбутні моделі стають розширенням архітектури

Оркестрація кількох LLM також передбачає підготовку до моделей, яких ще не існує. Моделі, що сьогодні лідирують у певних бенчмарках, не обов’язково будуть тими моделями, які підприємства обиратимуть у майбутньому.

Саме тому архітектура elDoc побудована навколо розширюваної екосистеми моделей, а не постійно фіксованого переліку постачальників AI.

У міру того як нові моделі та підходи до їхнього розгортання стають придатними для корпоративного використання, їх можна оцінювати та інтегрувати в архітектуру відповідно до вимог організації.

Це дає змогу організаціям постійно оптимізувати такі параметри, як:

точність, якість міркування, безпека, затримка, модель розгортання, зберігання даних у визначеній юрисдикції, обсяг контексту, якість роботи з мовами та вартість для кожного сценарію використання.

Замість того щоб формувати нову корпоративну AI-стратегію щоразу, коли змінюється ландшафт моделей, базова архітектура спроєктована так, щоб адаптуватися до цих змін.

Від «Яку LLM обрати?» до «Яку AI-архітектуру побудувати?»

Підприємства не повинні прогнозувати, яка LLM домінуватиме на ринку через кілька років, перш ніж розпочинати впровадження Generative AI вже сьогодні.

Більш сталий підхід полягає в побудові архітектури, здатної адаптуватися в міру змін моделей, регуляторних вимог, витрат і корпоративних потреб.

За допомогою elDoc організація може виконувати KYC за допомогою Kimi, перевірку кредитних заявок за допомогою Claude, обробку рахунків-фактур за допомогою OpenAI, а робочі навантаження з високочутливими даними клієнтів за допомогою приватно розгорнутих open-weight моделей, зберігаючи всі ці процеси в єдиному середовищі керування документами та AI-автоматизації.

У майбутньому організація може обрати інші моделі.

Бізнес-процеси, корпоративна основа даних, засоби контролю безпеки, робочі процеси, управління AI та архітектура документів не повинні змінюватися щоразу разом із вибором моделі.

У цьому й полягає призначення LLM-агностичної архітектури.

А оркестрація кількох LLM розвиває цю концепцію далі: не просто надає підприємствам доступ до кількох моделей, а дає їм змогу визначати, яку модель використовувати, для якого робочого навантаження, за яких умов безпеки та зберігання даних і в межах якого бізнес-процесу.

Отже, конкурентна перевага полягає не у виборі однієї «найкращої» LLM.

Вона полягає в побудові корпоративної AI-платформи, здатної постійно використовувати відповідний AI для відповідного завдання, не втрачаючи контролю над архітектурою, процесами та даними.

Побудуйте AI-архітектуру, здатну розвиватися

Питання для підприємств більше не полягає в тому, на якій одній LLM стандартизуватися. Воно полягає в тому, як побудувати AI-архітектуру, здатну постійно адаптуватися в міру розвитку моделей, зміни бізнес-вимог, політик безпеки, витрат і регуляторних очікувань.

Завдяки LLM-агностичній архітектурі та оркестрації кількох LLM від elDoc організації можуть поєднувати комерційні моделі та приватно розгорнуті open-weight моделі в єдиному корпоративному середовищі, обираючи відповідний AI для кожного сценарію використання та водночас зберігаючи контроль над даними, доступом, робочими процесами, управлінням AI і зберіганням даних у визначеній юрисдикції.

KYC може працювати з однією моделлю, перевірка кредитних заявок – з іншою, а інтелектуальна робота з візуальними документами – з мультимодальною моделлю, тоді як особливо чутлива інформація про клієнтів може повністю залишатися в AI-середовищі on-premise. У міру появи досконаліших моделей архітектура може розвиватися без необхідності перебудовувати базові бізнес-процеси навколо нового постачальника AI.

Мета полягає не в тому, щоб передбачити, яка LLM буде найкращою завтра. Мета полягає в тому, щоб ваша корпоративна архітектура була готова використовувати її.

Плануєте корпоративну ініціативу у сфері GenAI або оцінюєте, як оркестрація кількох LLM може інтегруватися у вашу наявну архітектуру?

Поспілкуйтеся з експертом elDoc, щоб розглянути ваші сценарії використання, вимоги до безпеки та AI data residency, стратегію роботи з моделями й варіанти розгортання та дізнатися, як побудувати LLM-агностичну архітектуру відповідно до потреб вашої організації.