Підвищення точності вилучення даних з документів за допомогою AI-промптів і налаштування LLM

Вилучення даних з документів більше не є найскладнішою частиною автоматизації роботи з документами.

Сучасний AI може з високою точністю розпізнавати рахунки-фактури, договори, замовлення на закупівлю, банківські виписки, документи, що посвідчують особу, форми, кореспонденцію та багато інших типів документів. Але вилучити певне значення ще не означає отримати надійні дані, готові до використання в бізнес-процесах.

Модель може правильно зчитати з документа значення 12,500.00, але водночас не визначити, чи це проміжна сума, сума податку, загальна сума рахунка-фактури, кредитний ліміт або щось зовсім інше.

Саме тут важливого значення набуває налаштування генеративного AI.

За допомогою платформ на кшталт elDoc організації можуть вийти за межі традиційного OCR і налаштовувати AI відповідно до змісту документів і значення даних. Це включає:

• AI-промпти на рівні типу документа
• AI-промпти на рівні окремого поля
• вибір відповідної LLM для різних типів документів
• налаштування температури LLM відповідно до завдання
• перевірка та перехресна перевірка вилученої інформації
• бізнес-правила та детерміновані механізми контролю результатів роботи AI
• перевірка із залученням працівника (Human-in-the-Loop), де це необхідно

Мета полягає не просто у вилученні більшої кількості даних. Йдеться про отримання точніших, узгоджених, перевірених і придатних для використання корпоративних даних.

Починайте з типу документа та класифікації документів за допомогою AI

Для різних типів документів потрібна різна поведінка AI.

Рахунок-фактура обробляється не так само, як договір. Банківська виписка відрізняється від документа, що посвідчує особу, а навіть документи, які виглядають майже однаково, можуть потребувати різної класифікації залежно від їхнього змісту, бізнес-контексту або конкретних ідентифікаторів.

Саме тому налаштування AI варто починати на рівні типу документа.

Завдяки генеративному AI класифікація документів може ґрунтуватися не лише на їхньому макеті, ключових словах або попередньо визначених шаблонах. AI-промпт може визначати конкретну бізнес-логіку, яка встановлює, як документи мають розпізнаватися та класифікуватися.

Наприклад, організація може опрацьовувати кілька категорій договорів з дуже схожою структурою. Замість того щоб намагатися розрізнити їх за зовнішнім виглядом, промпт для класифікації може вказати AI проаналізувати певний код договору:

Проаналізуйте документ і визначте код договору. Якщо присутній код договору 003, класифікуйте документ як Комерційний договір. Якщо присутній код договору 002, класифікуйте його як Договір з державним органом. Якщо присутній код договору 001, класифікуйте його як Рамковий договір. Не визначайте тип документа лише на основі його назви або візуального макета. Якщо жоден із зазначених кодів неможливо надійно визначити, класифікуйте документ як Загальний договір.

Логіку класифікації можна зробити значно складнішою. AI може одночасно враховувати кілька інформаційних ознак, наприклад:

Класифікуйте документ як Договір з державним органом, якщо визначено код 002 або якщо контрагентом за договором є державний орган, а документ містить посилання на державну закупівлю. Якщо наявні суперечливі ознаки, не робіть припущень і класифікуйте документ як Загальний договір.

Це важлива відмінність між традиційною класифікацією документів і класифікацією документів за допомогою AI.

Традиційна класифікація часто ставить запитання:

«На який тип документа це схоже?»

Натомість генеративному AI можна доручити визначити:

«Який це тип документа відповідно до наших бізнес-правил та інформації, що в ньому міститься?»

Отже, промпти для класифікації можуть враховувати коди документів, ідентифікатори, контрагентів, термінологію, договірні положення, грошові значення, дати, бізнес-контекст або комбінації кількох умов.

Таким чином, класифікація документів стає першим рівнем забезпечення якості даних: спочатку правильно визначити, що являє собою документ, а вже потім вирішувати, яку інформацію з нього потрібно вилучити.

Використовуйте AI-промпти не лише для вилучення даних, а й для перевірки

Одне з найцінніших застосувань генеративного AI полягає у використанні його для перевірки вилученої інформації.

Наприклад, після вилучення значень з рахунка-фактури AI можна доручити перевірити, чи виконується така умова:

Проміжна сума + податок − знижки = загальна сума

AI також може порівнювати пов’язану інформацію в інших частинах документа.

У промпті для окремого поля можна вказати:

Вилучіть загальну суму рахунка-фактури та перевірте її відповідність проміжній сумі, застосовним податкам, знижкам та іншим коригуванням, зазначеним у рахунку-фактурі. Якщо розрахована сума не відповідає зазначеній загальній сумі, поверніть значення 0 для перевірки.

Подібну логіку можна застосовувати в багатьох процесах роботи з документами:

Документ	Приклад перевірки за допомогою AI
Рахунок-фактура	Перевірка проміжної суми, податку та загальної суми
Замовлення на закупівлю	Порівняння сум за окремими позиціями із загальною сумою замовлення на закупівлю
Договір	Порівняння зазначених дат із передбаченими договором періодами
Банківська виписка	Зіставлення початкового залишку, транзакцій та кінцевого залишку
Документ KYC	Порівняння імен, дат та ідентифікаторів у різних документах
Форма заявки	Виявлення відсутньої або суперечливої інформації
Страхова заява	Порівняння заявлених сум з інформацією, наведеною у підтвердних документах

Це створює важливу відмінність між вилученням даних за допомогою AI та забезпеченням якості даних за допомогою AI.

Налаштування AI для роботи з відсутньою та неоднозначною інформацією

Основною причиною низької якості даних є не помилки OCR, а неправильні припущення або просто відсутність критично важливої інформації в документі.

Якщо AI не може знайти певне значення, модель без відповідних обмежень може спробувати визначити його на основі іншої інформації в документі. У деяких сценаріях це може бути корисним, але в інших є неприйнятним. Для критично важливих для бізнесу полів часто краще не повертати жодного значення, ніж заповнювати систему інформацією, яку неможливо надійно підтвердити на основі документа.

Таку поведінку можна налаштувати за допомогою параметрів окремого поля. Наприклад:

Вилучіть податковий номер клієнта точно так, як його зазначено в документі. Не визначайте, не генеруйте та не виводьте це значення на основі іншої інформації. Якщо податковий номер клієнта відсутній або його неможливо надійно визначити, не повертайте жодного значення.

Але іноді повернення порожнього значення є лише початком процесу.

Якщо певне поле є обов’язковим для бізнес-процесу, його можна відповідним чином налаштувати. Коли AI не повертає значення для обов’язкового поля, система може автоматично запустити процес перевірки або опрацювання нестандартного випадку, замість того щоб дозволити документу продовжити обробку в режимі наскрізної автоматизованої обробки (Straight-Through Processing).

Наприклад, обов’язковий податковий номер клієнта може просто бути відсутнім у отриманому документі. AI не може вилучити інформацію, якої в документі немає. У такому разі документ можна автоматично спрямувати користувачеві для перевірки.

Це дає змогу чітко розмежувати два аспекти:

Вилучення даних за допомогою AI визначає, яку інформацію можна надійно отримати з документа. Бізнес-перевірка визначає, чи достатньо цієї інформації для продовження процесу.

Такий самий підхід можна застосовувати до неоднозначної інформації. Наприклад:

Якщо в документі зазначено кілька номерів банківських рахунків, виберіть рахунок, який прямо визначено для здійснення платежу. Якщо неможливо надійно визначити, який рахунок слід використовувати, не вибирайте його довільно. Не повертайте жодного значення.

Завдяки такому підходу відсутня або неоднозначна інформація не перетворюється непомітно на неякісні корпоративні дані. Натомість вона стає контрольованим нестандартним випадком, який може автоматично запускати відповідний процес перевірки та перевірку із залученням працівника (Human-in-the-Loop).

Отже, якісне налаштування AI визначає не лише те, які дані має вилучати AI, а й те, яких припущень він не має робити та що має відбуватися, якщо необхідну інформацію неможливо надійно отримати з документа.

Вибирайте відповідну LLM для кожного типу документа

Є ще одне важливе рішення щодо налаштування: яка модель має обробляти документ?

Не для кожного документа потрібна одна й та сама LLM.

Різні моделі можуть мати різні переваги щодо здатності до міркування, візуального розуміння документів, багатомовної обробки, швидкості, розміру контекстного вікна, архітектури розгортання, розміщення даних і вартості.

Завдяки LLM-агностичній архітектурі організаціям не обов’язково обирати одну модель для всіх сценаріїв обробки документів.

Натомість вибір моделі можна узгодити з типом документа та бізнес-вимогами.

Тип документа	Вимоги до моделі
Стандартні рахунки-фактури	Швидке, точне та економічно ефективне вилучення даних
Складні договори	Розвинена здатність до міркування та велике контекстне вікно
Скановані форми	Високий рівень візуального розуміння та розуміння структури документів
Багатомовні документи	Розвинені багатомовні можливості
Документи KYC	Висока точність, візуальне розуміння та контрольована обробка
Кореспонденція	Розвинене семантичне розуміння та класифікація
Великі фінансові звіти	Велике контекстне вікно та аналітичне міркування

Наприклад, компанія, яка обробляє сотні тисяч відносно стандартизованих рахунків-фактур, може надавати пріоритет швидкості, точності та вартості обробки.

Для складних юридичних договорів організація може віддати перевагу потужнішій моделі з розвиненими здатностями до міркування, навіть якщо отримання результату займає більше часу.

Отже, вибір моделі стає ще одним інструментом підвищення якості даних та ефективності обробки.

Налаштовуйте параметр температури LLM відповідно до завдання

Після вибору LLM ще одним параметром, який може впливати на її поведінку, є температура.

Простими словами, температура визначає ступінь випадковості під час вибору моделлю наступного токена під час формування відповіді. Модель обчислює розподіл імовірностей для можливих наступних токенів, а температура змінює цей розподіл перед вибором токена.

За нижчого значення температури розподіл імовірностей стає більш вираженим. Модель з більшою ймовірністю обиратиме токени з високою ймовірністю, завдяки чому її результати зазвичай стають більш узгодженими, передбачуваними та відтворюваними.

За вищого значення температури розподіл імовірностей стає більш рівномірним. Більше альтернативних токенів стають імовірними, що збільшує варіативність і різноманітність згенерованої відповіді.

Зручно розуміти це так:

Нижче значення температури → пріоритет узгодженості та точності.
Вище значення температури → більше варіативності та можливостей для пошуку альтернатив.

Температура безпосередньо не визначає ані точність, ані інтелект моделі. Встановлення температури на рівні 0 не гарантує правильності відповіді, а підвищення температури не покращує здатність моделі до міркування. Цей параметр насамперед змінює варіативність генерованих результатів.

Яке значення температури використовувати для обробки документів?

Для більшості завдань з обробки корпоративних документів потрібна поведінка, суттєво відмінна від тієї, яка потрібна для генерації творчого контенту.

Під час вилучення номера рахунка-фактури, суми ПДВ, назви клієнта, дати договору, IBAN, номера замовлення на закупівлю або іншої структурованої інформації зазвичай існує лише один правильний результат.

Якщо номер рахунка-фактури має вигляд INV-2026-00482, організація не хоче, щоб модель надавала різні результати під час повторної обробки.

Для таких завдань зазвичай доцільно починати з низького значення температури.

Температура	Типова поведінка	Відповідні сценарії роботи з документами та AI
0–0.0	Висока детермінованість і чітка спрямованість	Вилучення даних з полів, номери рахунків-фактур, дати, суми, ідентифікатори, класифікація документів, перевірки на основі правил
0.1–0.3	Переважно стабільна поведінка з обмеженою гнучкістю	Виявлення положень договорів, розпізнавання сутностей, інтерпретація документів, аналіз відповідності вимогам
0.3–0.5	Більша гнучкість мови та інтерпретації	Резюмування документів, аналіз кореспонденції, пояснення результатів
0.5–0.7	Більша варіативність і ширші можливості формулювання	Підготовка відповідей, створення описів, формулювання альтернативних пояснень
0.7+	Висока варіативність і креативність	Мозковий штурм і генерація творчого контенту; загалом менш придатне для структурованого вилучення даних з корпоративних документів

Ці діапазони є орієнтовними, а не універсальними. Шкала температури та поведінка моделі відрізняються залежно від моделі й постачальника, а деякі новіші моделі з розвиненими здатностями до міркування можуть обмежувати використання температури або взагалі використовувати інші механізми керування.

Температура 0–0.0: вилучення структурованих даних

Цей діапазон особливо підходить для випадків, коли AI має повернути конкретне значення, уже наявне в документі.

Наприклад:

Вилучіть номер рахунка-фактури точно так, як його зазначено в документі. Не додавайте назву поля чи додатковий текст.

Інші приклади:

• номери рахунків-фактур і замовлень на закупівлю;
• дати та грошові суми;
• податкові номери та реєстраційні номери;
• ідентифікатори клієнтів і постачальників;
• банківські реквізити;
• попередньо визначена класифікація документів;
• структурований результат.

Мета полягає не у творчості, а в тому, щоб якомога стабільніше отримувати однакову надійну інтерпретацію тієї самої інформації.

Температура 0.1–0.3: контрольована інтерпретація

Деякі завдання з обробки документів потребують не простого вилучення даних, а їхньої інтерпретації.

Наприклад, AI може знадобитися визначити, чи містить договір положення про автоматичне продовження, виявити положення про розірвання договору, класифікувати витрату або визначити, чи дотримано певних вимог щодо відповідності.

Тут може бути корисною обмежена гнучкість, оскільки те саме поняття може бути сформульоване різними способами.

Наприклад:

Визначте, чи містить договір положення про автоматичне продовження. Якщо таке положення є, визначте період продовження та строк попередження про непродовження договору.

Відповідь, як і раніше, має бути контрольованою та обґрунтованою інформацією з документа, але AI має інтерпретувати мову, а не просто знаходити конкретне значення.

Температура 0.3–0.5: резюмування та семантичний аналіз

Помірне значення температури може бути доцільним у випадках, коли від моделі не очікується єдиного точного формулювання.

Зокрема:

• резюмування договорів;
• пояснення розбіжностей у документах;
• інтерпретація кореспонденції з клієнтами;
• резюмування страхових заяв;
• опис результатів перевірки відповідності вимогам;
• пояснення причин, через які документ було спрямовано на перевірку.

Наприклад:

Стисло резюмуйте основні комерційні зобов’язання, що містяться в цьому договорі, у п’яти пунктах.

Такий підсумок можна однаково коректно сформулювати кількома способами, тому певна варіативність може бути прийнятною.

Температура 0.5 і вище: генеративні завдання

Вищі значення температури стають доцільнішими, коли завдання зміщується від вилучення та перевірки даних до генерації контенту.

Наприклад, AI може використовувати інформацію, вилучену з документів, щоб підготувати відповідь клієнту, створити пояснювальний текст, згенерувати альтернативні описи або підготувати повідомлення на основі опрацьованих даних.

У таких сценаріях більша варіативність може бути корисною.

Водночас для вилучення даних, критично важливих для бізнесу, до вищих значень температури зазвичай слід ставитися обережно, оскільки варіативність здебільшого не є бажаною характеристикою процесу вилучення даних.

Параметр температури слід налаштовувати разом із промптом

Параметр температури не слід розглядати окремо від інших налаштувань.

Низьке значення температури не може компенсувати нечіткий промпт.

Наприклад, запит:

Знайдіть відповідну дату.

залишається неоднозначним незалежно від значення температури.

Значно точнішою буде така інструкція:

Вилучіть дату виставлення рахунка-фактури. Не повертайте дату оплати, дату доставки, дату замовлення на закупівлю або дату обробки документа. Поверніть значення у форматі YYYY-MM-DD. Якщо дату виставлення рахунка-фактури неможливо надійно визначити, не повертайте жодного значення.

Поєднання точного AI-промпта на рівні окремого поля з відповідним низьким значенням температури дає моделі значно чіткіші межі щодо очікуваного результату.

Той самий принцип застосовується до класифікації, перевірки та аналізу документів.

Не існує універсального «оптимального» значення температури

Може виникнути спокуса знайти одне оптимальне значення температури і застосовувати його в усіх процесах з використанням AI. На практиці відповідне налаштування залежить від конкретного завдання.

Тому в межах одного середовища обробки документів організація може використовувати різні налаштування:

Номер рахунка-фактури → Температура 0

Класифікація рахунка-фактури → Температура 0.1

Аналіз положень договору → Температура 0.2

Резюмування договору → Температура 0.4

Підготовка повідомлення клієнту → Температура 0.6

Важливий принцип полягає в тому, щоб налаштовувати модель відповідно до очікуваного характеру відповіді.

Якщо має бути одна точна відповідь, варто надавати перевагу нижчому значенню температури. Якщо корисними є кілька правильних формулювань або інтерпретацій, доцільним може бути вище значення температури.

Для обробки документів за допомогою AI це означає, що вилучення структурованих даних, класифікація та перевірка зазвичай виконуватимуться в нижній частині діапазону температури, тоді як сценарії резюмування та генерації можуть допускати поступово більшу гнучкість.

Зрештою, температура є ще одним рівнем налаштування, який разом з вибором LLM, промптами на рівні типу документа, промптами на рівні окремого поля, правилами перевірки та механізмами Human-in-the-Loop допомагає організаціям узгодити поведінку AI з вимогами до якості даних для кожного сценарію обробки документів.

Налаштовуйте AI без спеціальних знань у сфері AI

Для вдосконалення обробки документів за допомогою AI не потрібні фахівці з обробки даних, інженери промптів або тривалі AI-проєкти.

У elDoc ці можливості розроблено таким чином, щоб їх могли налаштовувати звичайні бізнес-користувачі. Користувачі, які добре розуміють свої документи та бізнес-процеси, можуть просто вказати AI, що саме потрібно шукати, як інтерпретувати інформацію, що вважати коректним і що робити, якщо інформація відсутня або є неоднозначною.

Типи документів, інструкції для класифікації за допомогою AI, AI-промпти на рівні окремих полів, вибір LLM, температура, обов’язкові поля, логіка перевірки та процеси Human-in-the-Loop можуть працювати разом, безперервно підвищуючи якість даних, вилучених з документів.

Організаціям також не потрібно починати з нуля. Як платформа на основі GenAI, elDoc відразу, без додаткового налаштування, надає можливості розуміння документів і вилучення даних з першого дня, без навчання традиційних моделей вилучення даних і створення шаблонів для кожного макета документа. Додаткові налаштування дають змогу адаптувати поведінку AI до специфіки документів, термінології, бізнес-правил і вимог організації до якості даних.

Принцип простий: вам не потрібно ставати експертом у сфері AI, щоб пояснити AI, що потрібно вашому бізнесу.

Поспілкуйтеся з експертом elDoc і дізнайтеся, як elDoc може приносити користь уже з першого дня, водночас надаючи вашим командам можливість постійно вдосконалювати розпізнавання документів, вилучення та перевірку даних за допомогою AI.