ИИ и безопасность: есть вызовы, есть возможности

Искусственный интеллект проникает буквально во все сферы жизни и бизнеса — и интеграторам, на долю которых зачастую выпадает внедрение соответствующих инструментов в бизнес-процессы заказчиков, нередко приходится принимать на себя заботы в том числе и об информационной безопасности клиентских данных, доверяемых для обработки ИИ. Учитывая специфику реализации генеративных моделей, это может оказаться непростой задачей. Участники недавней конференции для поставщиков управляемых услуг IT Nation Secure во флоридском Орландо сетовали на нехватку подлинно глубокой экспертизы в области ИИ: "За последние 12 месяцев искусственный интеллект совершил гигантский скачок — и, естественно, возникли ожидания, что и мы все одновременно эволюционируем из новичков в экспертов по этой области. К несчастью, ничего подобного не произошло; да и ожидать такого было попросту нереалистично". Основная проблема ИБ в приложении к ИИ — в том, что много десятилетий угрозы информационной безопасности предприятий были по большей части либо алгоритмическими (собственно вредоносный программный код, черви, трояны и проч.), либо социоинженерными (невнимательные и чрезмерно доверчивые сотрудники, подкуп, шантаж и иные старые добрые средства чисто межчеловеческих коммуникаций). Модели же искусственного интеллекта — точнее, генеративные системы машинного обучения — хотя и не доросли до человеческого уровня хитроумия, всё же действуют не по наперёд заданным алгоритмам. А это, в свою очередь, принципиально затрудняет машинный контроль над их деятельностью — даже отлично зарекомендовавшими себя в прошлом программными средствами. Недавний живой пример: ещё в апреле нынешнего года группа исследователей по ИБ опубликовала в издании Computer Science сообщение о том, что передовые большие языковые модели, такие как GPT-4 (на ней основана наиболее актуальная версия популярного бота ChatGPT), дают в руки хакерам внушительный козырь. А именно — помогают эффективно эксплуатировать так называемые короткоживущие уязвимости (n-day vulnerabilities), от выявления которых до написания и исполнения злоумышленниками эксплуатирующего их вредоносного кода проходит чрезвычайно мало времени, иногда даже меньше суток. Такие бреши в периметре ИБ особенно опасны потому, что создание и установка "заплатки" для устранения выявленной угрозы — обычно дело довольно долгое. Так что образующимся окном возможностей часто пользуются злонамеренные хакеры — с большим ущербом для владельцев чувствительных данных. Упомянутые исследователи скормили дообученной особым образом GPT-4 описания полутора десятков известных короткоживущих уязвимостей критического характера — в том довольно скупом на детали виде, в котором такого рода записи размещаются в информационных бюллетенях CVE (Common Vulnerabilities and Exposures). Описания эти указывают в общих чертах на выявленную проблему, но не позволяют понять, в каких именно строках кода и какие ошибки были допущены разработчиками. Точнее, не давали до появления новейших разновидностей генеративного ИИ: располагая всего лишь кратким CVE-описанием, специально дообученный чат-бот на основе GPT-4 в 7% случаев оказался способным воспроизвести успешную атаку на выявленную короткоживущую уязвимость — а если ему предоставляли детальное описание угрозы (в открытый доступ обычно не попадающее), то доля успешных атак взлетала до 87%. Та же группа исследователей в июне опубликовала продолжение своей работы, — показав, что на основе больших языковых моделей современного уровня можно создать сложную систему агентов, которые будут заниматься многоуровневым планированием, распределением задач и подбором оптимальных инструментов для их исполнения. В результате такая многоагентная система оказывается почти втрое эффективнее стандартной одноагентной — а короткоживущие уязвимости, в свою очередь, начинают представлять для использующих различное ПО с веб-интерфейсми заказчиков ещё более серьёзную проблему, чем прежде. Впрочем, ИИ — орудие обоюдоострое: им могут пользоваться как злонамеренные хакеры, так и специалисты по ИБ, заботящиеся об усилении защиты периметра безопасности своей компании — либо компании-клиента, если речь идёт о предоставляющем услуги информбезопасности канальном партнёре. В любом случае, джинн уже выпущен из бутылки, и ИТ-каналу — равно как и заказчикам, разумеется — необходимо с этим считаться. Участники конференции IT Nation Secure, которых цитирует издание CRN, сравнивают нынешнее состояние рынка с эхо-камерой, что усиливает любые раздающиеся в ней звуки: новые достижения в области ИИ провоцируют новые вызовы по линии ИБ, для купирования которых необходимо дальнейшее развитие ИИ — и так без видимого предела. Физическая верхняя граница, конечно же, существует, — точнее, информационная. Так, по мнению ряда экспертов, для адекватной тренировки следующей прорывной генеративной модели (условной GPT-5) потребуется информации больше, чем имеется на сегодня во всём Интернете целиком, и каким образом закрывать этот разрыв — пока не ясно. Так или иначе, даже с учётом ограниченной доступности GPT-4 и её аналогов для российских заказчиков, порождаемые генеративными моделями дополнительные угрозы (и дополнительные же возможности) с точки зрения информационной безопасности нерационально сбрасывать со счетов. А значит, партнёрам, на которых полагаются клиенты для обеспечения своих ИБ-нужд, необходимо усиливать компетенции в ИИ-области заблаговременно. Ссылка на источник