Матриця оцінювання ризиків і контролю ШІ: як elDoc переводить управління ШІ у практичну площину

Фундаментальний виклик управління ШІ полягає в тому, щоб перейти від принципів і політик до механізмів контролю, які можна безпосередньо впроваджувати, тестувати та підтверджувати на практиці.

Організація може мати політику щодо ШІ, яка передбачає захист конфіденційної інформації, перевірку результатів роботи ШІ та підзвітність усіх операцій із ШІ. Однак ключове питання управління полягає в іншому:

Який конкретний ризик усуває кожна вимога, який механізм контролю знижує цей ризик і як організація може підтвердити, що цей механізм реально працює?

Саме тут важливу роль відіграє матриця оцінювання ризиків і механізмів контролю ШІ elDoc.

elDoc застосовує багаторівневу модель захисту, у якій ризики, пов’язані з ШІ, співвідносяться з превентивними, детективними, коригувальними механізмами контролю та механізмами управління. Замість того щоб вважати LLM надійним рівнем безпеки, механізми контролю діють на всіх етапах: від ідентифікації та авторизації до роботи з документами, RAG, обробки даних ШІ, перевірки людиною, аудиту та інфраструктури.

Матриця оцінювання ризиків і механізмів контролю ШІ elDoc

Домен ризиків ШІ	Ключовий ризик	Потенційні наслідки	Механізми контролю elDoc	Тип контролю	Результат для управління
Ідентифікація та автентифікація	Неавторизована особа отримує доступ до можливостей ШІ	Несанкціонований доступ до корпоративної інформації та операцій із ШІ	MFA, SSO, автентифікація користувачів	Превентивний	Функціональність ШІ доступна лише автентифікованим користувачам організації
Авторизація	Користувач отримує через ШІ доступ до інформації за межами дозволеного йому рівня	Порушення конфіденційності	RBAC, дозволи для користувачів і груп, контроль доступу на рівні документів	Превентивний	Принцип мінімально необхідних повноважень поширюється на користувачів і ШІ
Доступ ШІ до даних	ШІ отримує інформацію, до якої користувач не має звичайного доступу	Критичний ризик витоку інформації	Agentic RAG з урахуванням прав доступу	Превентивний	ШІ успадковує дозволений користувачеві інформаційний контекст
Витік контексту	Неавторизовані документи потрапляють у контекст LLM	Конфіденційна інформація може з’явитися у відповідях ШІ	Перевірка прав доступу перед отриманням даних	Превентивний	Неавторизована інформація відсіюється до початку обробки LLM
Маніпулювання запитами	Користувач намагається обійти обмеження за допомогою запитів	Несанкціоноване отримання інформації або маніпулювання нею	Авторизація на рівні системи незалежно від вмісту запиту	Превентивний	Інструкції в запиті не можуть самостійно розширити права доступу
Непряме маніпулювання запитами	Шкідливі інструкції в документах впливають на роботу ШІ	Отриманий контент може вплинути на поведінку або дії ШІ	Контрольований контекст RAG + перевірка прав доступу + контрольовані дії ШІ	Превентивний / управлінський	Отриманий контент не може самостійно надати ШІ додаткових повноважень
Розкриття конфіденційних даних	Конфіденційна корпоративна інформація стає доступною через ШІ	Витік даних / порушення конфіденційності	Контрольовані інтерфейси LLM + отримання даних з урахуванням прав доступу	Превентивний	Доступ LLM до корпоративної інформації залишається обмеженим
Суверенність даних ШІ	Корпоративна інформація обробляється за межами затвердженої інфраструктури	Регуляторні ризики, ризики суверенності та конфіденційності	On-premise / розгортання ШІ у середовищі з контрольованою резиденцією даних	Превентивний / управлінський	Обробка даних ШІ може залишатися у контрольованій замовником інфраструктурі
Залежність від зовнішніх ШІ-сервісів	Зовнішні постачальники ШІ створюють неприйнятний ризик розкриття даних	Ризики, пов’язані з третіми сторонами та суверенністю даних	Повністю ізольоване розгортання ШІ	Превентивний / управлінський	LLM, RAG, векторні представлення та векторна інфраструктура можуть працювати без зовнішніх ШІ-сервісів
Дані замовника та навчання моделей	Корпоративні документи стають частиною навчальних даних моделі	Втрата контролю над корпоративною інформацією	Відокремлення даних замовника від навчання базової LLM	Превентивний / управлінський	elDoc не використовує корпоративні документи замовника для навчання або донавчання базової LLM
Галюцинації	ШІ надає непідтверджені або неточні відповіді	Помилкові бізнес-рішення	RAG із прив’язкою до джерел + посилання на джерела + перевірка людиною	Превентивний / управлінський	Відповіді ШІ можна перевірити за корпоративними джерелами інформації
Точність результатів ШІ	GenAI некоректно вилучає значення з документів	Некоректні дані потрапляють у бізнес-процеси	Оцінювання даних на рівні окремих полів + перевірка людиною (HITL)	Превентивний / детективний / управлінський	Результати з низьким рівнем впевненості можна виявляти та перевіряти
Дані з низьким рівнем впевненості	Невизначені результати ШІ автоматично переходять до наступного етапу	Помилки в обробці та прийнятті рішень	Налаштовувані пороги для перевірки	Превентивний / управлінський	Визначені результати можна спрямовувати на перевірку людиною
Надмірна автономність ШІ	ШІ виконує непередбачені дії з істотними наслідками	Операційні або бізнес-ризики	Контрольовані дії ШІ + контроль за участю людини	Превентивний / управлінський	Людина зберігає повноваження щодо операцій, які мають істотні наслідки
Зміни документів за допомогою ШІ	ШІ неправильно класифікує, перейменовує, реорганізовує або змінює документи	Ризик порушення цілісності документів та операційні ризики	Операції ШІ під наглядом + HITL	Превентивний / управлінський	Запропоновані ШІ дії можна перевірити, виправити, погодити або відхилити
Ризик рішень ШІ	Некоректне рішення ШІ переходить до наступного етапу робочого процесу	Некоректні подальші бізнес-дії	Конвеєр, оркестрація якого здійснюється GenAI + HITL + принцип «чотирьох очей»	Превентивний / управлінський	Результат можна перевірити до переходу робочого процесу на наступний етап
Підзвітність ШІ	Організація не може відновити послідовність дій за участю ШІ	Прогалини в управлінні та розслідуванні інцидентів	Журнали аудиту + прив’язка дій до користувачів	Детективний / управлінський	Дії та погодження за участю ШІ можна відстежити
Критичні операції	Важлива операція виконується без незалежної перевірки	Шахрайство, помилки або несанкціоновані дії	Принцип «чотирьох очей»	Preventive / Governance	Для критичних операцій можна вимагати додаткового погодження
Обробка результатів ШІ	Результат LLM спричиняє непередбачену поведінку системи	Ризики для безпеки та роботи системи	Контрольована обробка результатів	Превентивний	Згенерований LLM контент не може самостійно запускати привілейовані функції
Безпека векторної інфраструктури та векторних представлень	Векторна інфраструктура обходить права доступу до документів	Прихована прогалина в механізмах авторизації	Отримання даних з урахуванням прав доступу	Превентивний	Векторний пошук не стає самостійним механізмом авторизації
Залежність від моделі	Організація стає залежною від непридатної моделі або її постачальника	Операційна, фінансова залежність, залежність у питаннях суверенності даних або безпеки	Архітектура, не прив’язана до конкретної LLM	Управлінський / коригувальний	Моделі можна замінювати відповідно до вимог організації
Ланцюг постачання ШІ	Зовнішні компоненти ШІ створюють ризики для безпеки або залежності	Ризики, пов’язані з технологіями третіх сторін	Контрольована інтеграція ШІ + компоненти, які можна замінювати	Превентивний / управлінський	Окремі компоненти ШІ можна контролювати, замінювати або оновлювати
Використання ШІ	Неконтрольоване використання ШІ збільшує витрати або погіршує якість сервісу	Фінансові та операційні ризики	Відстеження використання + обмеження споживання ресурсів	Превентивний / детективний	Використання ШІ можна контролювати та обмежувати
Вичерпання ресурсів ШІ	Навантаження від ШІ впливає на продуктивність системи	Ризик втрати доступності	Незалежне планування потужності інфраструктури ШІ + контроль паралельних запитів	Превентивний / детективний	Потужність ШІ можна масштабувати незалежно від основної системи
Доступність і відмовостійкість	Відмова інфраструктури перериває процеси з використанням ШІ	Ризик порушення безперервності бізнесу	Високодоступне та відмовостійке розгортання	Превентивний / коригувальний	Роботу процесів з використанням ШІ можна спроєктувати з урахуванням безперервності сервісу

Від оцінювання ризиків до операційного управління ШІ

Матриця демонструє важливу відмінність між управлінням ШІ на рівні політик та управлінням ШІ, вбудованим у корпоративні процеси.

Політика може визначати, що ШІ має або не має робити. Операційне управління ШІ йде далі: воно пов’язує кожен визначений ризик із конкретним механізмом контролю, способом його забезпечення, повноваженнями людини та доказами, які можна перевірити під час аудиту.

Ланцюжок управління ШІ в elDoc

Варіант використання ШІ → Ризик → Вплив на бізнес → Механізм контролю → Забезпечення контролю → Контроль людиною → Аудиторські докази

Такий підхід створює простежуваний ланцюжок управління: від початкового оцінювання ризику до технічних і організаційних механізмів контролю, за допомогою яких цей ризик контролюється.

Ризик ШІ	Механізм контролю elDoc	Як забезпечується контроль	Результат для управління
ШІ розкриває конфіденційну інформацію	Agentic RAG з урахуванням прав доступу	Права користувача перевіряються до отримання інформації з документа та її передачі LLM	ШІ не може самостійно розширити дозволений користувачеві обсяг інформації
ШІ вилучає некоректне значення	Оцінювання даних на рівні окремих полів + пороги перевірки	Визначені результати можна спрямувати на перевірку людиною до переходу на наступний етап	Невизначений результат ШІ не стає автоматично довіреними бізнес-даними
ШІ виконує некоректну дію з істотними наслідками	Контрольовані дії ШІ + HITL + принцип «чотирьох очей»	На визначених етапах робочого процесу можна запровадити погодження людиною та незалежну перевірку	ШІ може допомагати виконувати операції, тоді як рішення з істотними наслідками залишаються в межах повноважень організації
Дії ШІ неможливо розслідувати	Журнали аудиту + прив’язка дій до користувачів	Відповідні дії за участю ШІ, активність користувачів і погодження фіксуються в межах відповідної системи аудиту	Організація зберігає простежуваність і підзвітність операцій з використанням ШІ

Простий приклад: від ризику до доказів

Розглянемо ризик розкриття конфіденційної інформації у відповіді ШІ.

01 – Визначення ризику
ШІ потенційно може отримати інформацію, до якої користувач, що надсилає запит, не має права доступу.

02 – Визначення механізму контролю
elDoc застосовує Agentic RAG з урахуванням прав доступу та наявні механізми авторизації на рівні документів.

03 – Забезпечення контролю
Права доступу перевіряються до отримання корпоративної інформації та її передачі LLM як контексту.

04 – Збереження повноважень людини та організації
LLM не стає самостійним рівнем авторизації та не може надавати собі або користувачеві додаткові права доступу до документів.

05 – Формування доказів
Відповідні механізми аудиту документів і системи забезпечують простежуваність дій користувача та операцій з документами.

У результаті формується повний ланцюжок управління:

Ризик визначено → Механізм контролю визначено → Контроль забезпечено → Дії перебувають під контролем → Докази збережено

У цьому полягає суть підходу elDoc до управління ШІ, закладеного в архітектуру.

Отже, управління ШІ не обмежується політиками, які визначають допустиму поведінку ШІ. Воно перетворюється на поєднання технічних механізмів забезпечення контролю, засобів безпеки, контролю людиною, моніторингу та аудиту, безпосередньо вбудованих у корпоративне середовище ШІ.

Чотири рівні механізмів управління та контролю ШІ в elDoc

Отже, модель elDoc можна розглядати як поєднання чотирьох взаємодоповнювальних рівнів контролю:

Рівень контролю	Призначення	Приклади в elDoc
Превентивний	Запобігати несанкціонованим або небезпечним діям до того, як вони відбудуться	MFA, RBAC, RAG з урахуванням прав доступу, шифрування, контрольовані дії ШІ, отримання даних з урахуванням прав доступу
Детективний	Виявляти, відстежувати та відновлювати послідовність дій	Журнали аудиту, аудиторські журнали операцій з документами, прив’язка дій ШІ до користувачів, оцінювання даних, моніторинг використання ресурсів
Коригувальний	Відновлювати роботу, адаптувати систему або замінювати компоненти за зміни умов	Контроль версій, відмовостійка архітектура, змінні LLM та компоненти
Управлінський	Забезпечувати, щоб дії ШІ з істотними наслідками залишалися в межах повноважень організації	HITL, принцип «чотирьох очей», принцип «Maker-Checker», пороги перевірки, політики суверенного ШІ

Жоден окремий рівень не можна вважати достатнім.

Запобігти → Виявити → Виправити → Забезпечити управління

Ця багаторівнева модель захисту означає, що якщо один механізм контролю не усуває ризик повністю, додаткові механізми забезпечують подальший захист, прозорість і контроль людиною.

Управління ШІ має бути підтверджене на практиці

Для організацій, що працюють у регульованих сферах, недостатньо просто сказати: «наш ШІ безпечний».

Їм дедалі частіше потрібно відповідати на значно конкретніші запитання:

Які ризики, пов’язані з ШІ, визначено?
Які механізми контролю їх усувають або знижують?
Де забезпечується виконання цих механізмів контролю?
Хто може скасувати дію ШІ або погодити її?
Що відбувається, коли рівень впевненості ШІ недостатній?
Чи можна після виконання дії ШІ відновити послідовність її виконання?
Чи можете ви підтвердити, що неавторизована інформація не потрапила до контексту ШІ?

Саме тому elDoc розглядає управління ШІ як операційну систему контролю, а не просто політику щодо ШІ.

Мета полягає у встановленні простежуваного взаємозв’язку між:

Ризик → Механізм контролю → Забезпечення контролю → Контроль людиною → Докази

Саме цей взаємозв’язок перетворює управління ШІ з формальної документації на реальну операційну спроможність організації.

Управління ШІ, закладене в архітектуру elDoc

Управління ШІ не слід додавати після того, як рішення на основі ШІ вже впроваджено.

Його потрібно закладати в архітектуру системи від самого початку.

elDoc поєднує в єдиній архітектурі управління безпеку документів, Agentic RAG з урахуванням прав доступу, контрольовані інтерфейси LLM, перевірку за участю людини, механізми «Maker-Checker», оцінювання даних ШІ, аудит, розгортання із забезпеченням суверенності даних і контрольовані дії ШІ.

Це дає організаціям змогу перейти від запитання:

«Чи можемо ми використовувати GenAI?»

до важливішого для організації запитання:

«Чи можемо ми підтвердити, що наш GenAI працює в межах визначених ризиків, дозволів, механізмів контролю, повноважень людини та вимог до аудиту?»

Саме на цьому ґрунтується управління ШІ, закладене в архітектуру.