Галлюцинации, утечки данных и скрытые закладки — ЦБ назвал главные риски ИИ в банках

Банки активно используют технологии искусственного интеллекта (ИИ). Они принимают решения при анализе кредитных заявок, помогают выявлять мошенников и консультируют клиентов банка.

Но вместе с новыми возможностями появляются и новые угрозы. Банк России впервые выпустил отдельные рекомендации по безопасному использованию ИИ, в которых подробно объяснил, чего стоит опасаться.

Какие риски увидел ЦБ в технологиях ИИ

ЦБ предлагает относиться к ИИ как к отдельному источнику рисков, и строить вокруг него полноценную систему информационной безопасности.

Вот риски, которые приводятся в методических указаниях:

• ИИ может ошибаться, даже если звучит уверенно.

Одна из главных проблем — ИИ может отвечать на вопросы пользователя убедительно и правдоподобно, даже если в ответе содержатся принципиальные ошибки.

При этом он может перепутать факты, «додумать» несуществующую информацию, сделать логичный, но неверный вывод. В методических указаниях это назвали «галлюцинациями ИИ».

Главная проблема тут заключается не в том, что ИИ ошибается, а в том, что ответы «звучат уверенно», даже если они ошибочные.

• Зависимость от качества исходных данных.

Чтобы ИИ работал, его обучают на больших наборах данных. И очень важно качество эти данных.

Данные могут быть изначально некорректными, а могут быть «отравлены» специально — в них могут добавить неправильную информацию.

Соответственно, система, которая обучена на таких данных, будет потом стабильно ошибаться.

• Пользователь может обмануть ИИ.

Ещё один важный риск — атаки на саму модель через входные данные. Современные модели можно случайно или намеренно запутать, чтобы они сделали совсем не то, что от них ожидалось. Злоумышленники могут встраивать в текст своих сообщений скрытые инструкции, которые ИИ может прочитать и выполнить, что приведёт совсем не к ожидаемому результату.

• В ИИ могут быть предусмотрены скрытые «закладки».

Отдельно ЦБ выделяет риск так называемых закладок (бэкдоров). Это ситуация, когда ИИ работает нормально в обычных условиях, но при определённом сигнале начинает вести себя иначе.

Это очень неприятный сценарий, потому что внешне всё выглядит нормально, система проходит все тесты, но тот, кто знает, как воспользоваться бэкдором, может получить нужный ему результат.

• Риск утечек данных через саму модель.

Поскольку системы обучаются на реальных данных, есть риск, что в каких-то ситуациях система может выдать информацию, которую не должна сообщать пользователю.

• Со временем ИИ начинает хуже работать.

Данные, на которых обучен ИИ, постепенно устаревают — появляются новые законы, меняется экономическая ситуация и даже предпочтения людей. Поэтому со временем точность и качество ответов системы падает.

• Риск перегрузки системы.

В отличии от алгоритмических решений, модели ИИ — ресурсоёмкие. Поэтому, если отправлять в систему много запросов или запутанные и сложные данные, то система может начать тормозить, работать нестабильно, или вообще перестать отвечать.

Для банков это особенно критично, потому что такие системы участвуют в реальных операциях и могут парализовать работу банка.

Что всё это значит для банков

Помимо рисков, в документе содержатся и рекомендации для банков. Основная идея заключается в том, что системы на базе ИИ нельзя использовать по тем же принципам, что обычные системы и приложения.

Банкам рекомендуется:

• Проверять исходные данные, перед обучением системы — чистить и контролировать их достоверность.
• Тестировать системы на все возможные виды атак — пытаться их обмануть, перегрузить и т.п.
• Постоянно следить за работой ИИ — контролировать работу и проверять систему на отклонения от нормы.
• Особенно внимательно контролировать сторонние ИИ-сервисы, если банк использует чужие решения.
• Решения в критически важные процессы с высокими рисками обязательно должен подтверждать человек.

В первую очередь банки должны учесть рекомендации ЦБ в своей политикие информационной безопасности, чтобы потом применять на практике.

Что всё это значит для клиентов банков

Нужно понимать, что все эти риски непосредственно касаются клиентов.

Это может быть выражено в «автоматических отказах» по кредитным заявкам, ограничение «подозрительных операций» и некорректных консультациях ботами службы поддержки.

Впрочем, похожие ошибки и риски присущи и традиционным технологиям. Главное, чтобы «искусственный разум» снизил их количество, а не добавил новые.