ШІ як нова точка доступу до інформації: захист пошуку та результатів

Штучний інтелект змінює сам принцип пошуку інформації. Між користувачем і джерелом з'являється нова активна ланка — ШІ, який фактично стає точкою доступу до інформаційного середовища.

Традиційна модель:

запит → пошук → джерело → результат

поступово перетворюється на складніший процес:

запит → ШІ → пошук та зовнішні джерела → аналіз → сформований результат.

ШІ може самостійно інтерпретувати та уточнювати запит, визначати напрями пошуку, відбирати джерела, порівнювати інформацію й формувати кінцеву відповідь.

Це створює нові ризики. Вплив можливий не лише на кінцевий результат, а й на різних етапах інформаційного маршруту: через зміну змісту запиту, сторонні інструкції, використання недостовірної або ШІ-згенерованої інформації, дублювання одного джерела під виглядом декількох незалежних підтверджень або спотворення даних під час їх узагальнення.

Тому захищати необхідно вже не окремий файл чи базу даних, а весь інформаційний ланцюг:

ЗАПИТ → ТОЧКА ДОСТУПУ → ДЖЕРЕЛА → ОБРОБКА → РЕЗУЛЬТАТ

На базі знань про архітектуру ШІ-агентів у межах проєкту AI Protect розробляється система захисних алгоритмів для різних етапів цього процесу.

Вона передбачає захист від стороннього втручання та ін'єкцій інструкцій, використання неправдивої або синтетичної інформації, неконтрольованого дублювання даних і спотворення отриманих результатів.

Від захисту даних — до захисту інформаційного маршруту

Коли ШІ стає точкою доступу до інформації, недостатньо запитувати лише: «Чи надійне джерело?»

Необхідно контролювати також, як був сформований запит, звідки отримана інформація, як вона була перевірена та яким чином із неї сформовано кінцевий результат.

Саме тому AI Protect розвиває багаторівневий підхід до захисту пошуку та результатів, який може адаптуватися до конкретного об'єкта, інформаційного середовища та характеру ризику.

Конкретні алгоритми та архітектура системи у відкритих матеріалах не розкриваються.

Лариса Гаврилей

патентний повірений України

PatentProm Kyiv | співзасновниця AI Protect