Банк России во вторник опубликовал методические рекомендации по информационной безопасности при использовании искусственного интеллекта в финансовых организациях. Об этом d-russia.ru сообщает со ссылкой на сам регулятор: это первый документ ЦБ, где собраны вместе риски ИИ, тактики атак на такие системы и меры защиты.
Главный практический тезис простой: если ИИ задействован в критичных процессах — например, в платёжках — операцию должен подтверждать живой сотрудник. Машина считает, человек жмёт кнопку. Кроме того, банкам и прочим участникам рынка рекомендуют написать собственные модели угроз и политику ИБ для ИИ. Отвечать за эти документы будет зам руководителя по защите информации — не айтишник, не безопасник в общем смысле, а конкретный топ.
Что должно быть в модели угроз
ЦБ перечисляет специфические для ИИ риски — и список звучит так, будто его писали после прочтения свежих ресёрчей по adversarial ML:
- обход средств, реализующих ИИ;
- «отравление» обучающих данных;
- раскрытие информации о самой модели;
- хищение обучающих датасетов;
- модификация модели, включая её архитектуру;
- приведение модели в состояние отказа в обслуживании;
- манипуляция поведением модели;
- подмена модели на чужую.
Почему это вылезло именно сейчас
Контекст важен: ЦБ ранее заявлял о курсе на мягкое регулирование ИИ на финрынке — без жёстких запретов и лицензий, по принципу «вы взрослые, разберитесь сами, но по нашим ориентирам». Эти методички — как раз такой ориентир. Не закон, не обязательный стандарт, но если у вас что-то пойдёт не так, инспектор первым делом спросит, читали ли вы документ и почему не применили.
Что с этим делать
Если вы работаете в банке, страховой, брокере или финтехе и где-то у вас крутится модель — от антифрода до скоринга, — рекомендации стоит прочитать буквально. Дальше: посмотреть, кто у вас в организации отвечает за ИБ на уровне зама руководителя, и положить ему задачу на разработку модели угроз и политики под ИИ. Отдельный вопрос — ревизия процессов: где ИИ принимает решение в одиночку и где, по логике ЦБ, между ним и клиентом обязан стоять человек. Лучше сделать это до того, как мягкое регулирование станет твёрдым.