18 min.

Инновации в тени: как злоумышленники экспериментируют с ИИ

Растущая популярность таких технологий, как LLM (Large Language Models — большие языковые модели), облегчает выполнение типовых задач и повышает доступность информации, но вместе с тем создает новые риски для информационной безопасности. Активные обсуждения способов использования языковых моделей ведутся не только среди разработчиков программного обеспечения и энтузиастов AI, но и среди злоумышленников.

Цель исследования – осветить деятельность дарквеб-сообщества, связанную с вредоносным применением инструментов искусственного интеллекта (ИИ). Приведенные здесь примеры не предполагают, что чат-боты и другие инструменты опасны сами по себе, но помогают понять, как злоумышленники могут использовать их в неправомерных целях. Актуальная информация о тенденциях и обсуждениях в дарквебе позволит компаниям выстраивать более эффективную защиту от постоянно развивающихся угроз.

На графике представлена статистика по количеству сообщений на форумах и в Telegram-каналах, относящихся к использованию ChatGPT в неправомерных целях или об утилитах, задействующих в своей работе функционал ИИ. Как видно на графике, пик был достигнут в апреле и сейчас наблюдается тренд на снижение. В то же время количество переходит в качество: используемые модели становятся все более сложными, а их интеграция — все более эффективной.

Использование GPT на киберпреступных форумах: наблюдения

В период с января по декабрь 2023 года мы наблюдали многочисленные обсуждения, в ходе которых участники киберпреступных форумов обменивались способами использования ChatGPT для неправомерных целей.

Например, в одном сообщении предлагается использовать GPT для генерации полиморфного вредоносного кода — ВПО, которое способно менять свой код, сохраняя базовый функционал. Обнаружение и анализ подобных программ значительно сложнее, чем в случае с обычными зловредами. Автор сообщения предлагает использовать API OpenAI для генерации кода с заданным функционалом. Таким образом с помощью обращения к легитимному домену (openai.com) из инфицированного объекта злоумышленник может сгенерировать и запустить вредоносный код, обходя ряд стандартных проверок безопасности. На данный момент мы не обнаружили вредоносные программы, действующие таким образом, однако они вполне могут появиться в будущем.

Помимо этого, злоумышленники стали часто использовать ChatGPT при разработке вредоносных продуктов или в иных противоправных целях. На скриншоте ниже посетитель киберпреступного форума описывает, как использование AI помогло ему решить проблему при обработке дампов пользовательских данных.

Он задал на форуме вопрос, касающийся обработки строк определенного формата, и ему предоставили сгенерированный ChatGPT ответ. Таким образом, даже типовые задачи, для решения которых раньше требовалась определенная экспертиза, сейчас решаются одним запросом. Это резко снижает порог входа во многие сферы, в том числе и в преступную.

Подобные тенденции могут увеличивать потенциальное количество атак. Действия, для которых ранее требовалась команда людей с некоторым опытом, сейчас на базовом уровне могут совершать даже новички.

Здесь нами приведен пример того, как пользователь ищет себе команду для занятия кардингом. Его интересует обработка лог-файлов вредоносных программ, незаконное обналичивание денег и другие виды преступной деятельности. В посте пользователь упоминает о том, что при написании кода он активно использует AI. Предположительно он имеет в виду парсеры — программы для сбора и систематизации информации, в данном случае из файлов с зараженных устройств. Использование таких программ на базовом уровне не требует большой экспертизы.

Использование языковых моделей для решения типовых задач и получения информации стало настолько популярным, что на некоторых киберпреступных форумах в функционал по умолчанию встроены ответы от ChatGPT или аналогов. Ниже приведен пример автоматически сгенерированного ответа на пост участника тематического преступного форума. В нем ИИ дает совет по прошивке телефона.

Jailbreaks

Для того чтобы модель могла давать ответы, связанные с преступной деятельностью, злоумышленники придумывают наборы особых команд, которые могут открывать дополнительный функционал. Такие наборы команд для моделей собирательно называются jailbreak. Они весьма распространены и активно дорабатываются пользователями различных социальных платформ и участниками теневых форумов. Всего за 2023 год было замечено 249 предложений как по распространению, так и по продаже подобных подобранных команд.

Помимо отдельных сообщений на форумах кое-кто также собирает коллекции подобных наборов команд. Хочется отметить: далеко не все запросы в подобных коллекциях созданы для противоправных действий и снятия ограничений; они могут быть предназначены и для получения более точного результата для конкретной легитимной задачи.

Также следует отметить, что хотя разработчики стремятся ограничить выдачу потенциально опасного контента, они стараются сделать так, чтобы эти ограничения не мешали обычному пользователю. Например, при попытке узнать у ChatGPT список 50 эндпойнтов, где может произойти утечка swagger-спецификаций или документации API, модель отказывается отвечать на этот вопрос (так было на момент сбора материала для исследования). Но, повторив запрос, мы свободно получаем интересующий нас список. Подобная информация не является нелегитимной, но может использоваться злоумышленниками при осуществлении атак.

Использование в ПО

Отдельно стоит отметить появление большого количества утилит и программных решений, использующих GPT для усовершенствования своей работы. Мы обнаружили сообщение, где рекламировалось новое ПО для операторов вредоносных программ. В числе его особенностей – использование AI для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. По словам автора, ИИ используется в отдельном модуле для анализа и обработки информации.

Перспективы эксплуатации инструментов open source и программ для пентеста

Различные решения на базе ChatGPT активно тестируются разработчиками ПО с открытым исходным кодом, в том числе в разработках, создаваемых для специалистов по информационной безопасности. Такие проекты могут быть взяты на вооружение киберпреступниками и уже сейчас обсуждаются на соответствующих тематических форумах для использования во вредоносных целях

Одна из утилит с открытым исходным кодом, размещенная на платформе GitHub, предназначена для обфускации кода, написанного на PowerShell. Подобное часто используется как специалистами по кибербезопасности, так и злоумышленниками во время проникновения в систему и попытке закрепления в ней. Обфускация позволяет повысить шанс остаться незамеченным со стороны систем мониторинга и антивирусных решений. С помощью сервиса Kaspersky Digital Footprint Intelligence был обнаружен пост на киберпреступном форуме, в котором злоумышленники делятся этой утилитой, показывают, как ее можно использовать для вредоносных целей и какой результат это даст.

Существует ряд других легитимных утилит, которыми эксперты сообщества делятся в исследовательских целях. Безусловно, они полезны в первую очередь для специалистов по кибербезопасности. Некоторые могут быть ценным активом с точки зрения развития сообщества и даже индустрии в целом. Однако стоит всегда помнить, что киберпреступники тоже постоянно ищут инструменты для автоматизации вредоносной активности и снижения порога входа в киберкриминальную сферу.

«Злые» аналоги ChatGPT

Другим аспектом является большое количество внимания к таким проектам, как WormGPT, XXXGPT, FraudGPT и прочие. Это языковые модели, рекламируемые как замена ChatGPT с отсутствующими ограничениями оригинала и дополнительным функционалом.

Повышенный интерес к подобным решениям может обернуться для авторов проблемой. Как уже упоминалось ранее, большая часть обсуждаемых решений может быть использована как правомерно, так и для нелегальной активности. Тем не менее обсуждение в сообществе сфокусировано на угрозах, которые несут в себе подобные продукты.

Например, проект WormGPT был закрыт в августе из-за реакции сообщества. Авторы проекта утверждают, что их изначальной целью не были исключительно противоправные действия. Они заявляют, что основной причиной закрытия WormGPT стали множественные сообщения в СМИ, освещающие проект как однозначно вредоносный и опасный.

Несмотря на закрытие проекта, мы обнаружили множество сайтов и объявлений, предлагающих купить доступ к нашумевшей WormGPT. Злоумышленники не только используют эту языковую модель для своих целей, но и, как нам представляется, создали целый сегмент фейковых объявлений.

Отличительная особенность таких сайтов заключается в том, что они созданы как типичный фишинг. Например, заявляется наличие пробной версии WormGPT, но она доступна только после оплаты. Часть интерфейса может быть на локальных языках.

Сами обнаруженные сайты отличаются как по дизайну, так и по предлагаемым ценам. Способы оплаты тоже могут быть разными – от криптовалют, как в оригинальном предложении автора WormGPT, до кредитных карт и банковских переводов.

Распространенность подобных предложений вынудила авторов проекта WormGPT еще до закрытия начать предупреждать пользователей о возможности обмана.

Что умеют нерегулируемые проекты наподобие ChatGPT

WormGPT на данный момент является самым распространенным из подобных проектов, но существует и множество других моделей, таких как xxxGPT, WolfGPT, FraudGPT, DarkBERT и другие. В условиях повышенной конкуренции разработчики вынуждены придумывать новые способы привлечь внимание пользователей к своим проектам. Так, мы смогли обнаружить демоверсию xxxGPT с возможностью создавать свои запросы. Ниже приведен пример диалога в демоверсии проекта от авторов рекламного сообщения.

Как видно из примера, она не имеет оригинальных ограничений и может предоставлять рабочие куски кода для такого опасного ПО, как кейлогер. Это ПО, которое способно записывать нажатия клавиш пользователя. Приведенные примеры кода не являются сложными и будут легко замечены большинством антивирусных решений, однако сама возможность их генерации вызывает опасения.

Продажа аккаунтов

Еще одну опасность как для пользователей, так и для компаний несет продажа краденых аккаунтов от платной версии ChatGPT.

На приведенном примере участник форума бесплатно распространяет аккаунты, предположительно полученные из лог-файлов вредоносных программ. Данные аккаунтов собираются с зараженных устройств пользователей.

Еще один интересный пример — сообщение о продаже взломанного аккаунта от премиальной версии ChatGPT. Продавец предупреждает о том, что нельзя менять данные аккаунта и следует удалять созданные диалоги: это нужно для того, чтобы повысить вероятность остаться незамеченным для владельца аккаунта и продолжать пользоваться его учетной записью.

Помимо взломанных аккаунтов распространена продажа автоматически созданных учетных записей с бесплатной версией модели. Злоумышленники регистрируются на платформе с помощью автоматических средств, используя поддельные или временные данные. Подобные аккаунты имеют лимит на количество запросов к API и продаются пакетами. Это позволяет экономить время и сразу перейти на новый аккаунт, как только предыдущий перестанет работать, – например, получив бан из-за вредоносной или подозрительной активности.

На графике приведена статистика по количеству сообщений о продаже аккаунтов ChatGPT, полученных различными способами, в том числе украденных или зарегистрированных массово. Подобные сообщения отправляются множество раз в различные каналы связи, таким образом это — по большей части реклама одних и тех же продавцов и магазинов. Как мы видим, пик приходится на апрель, сразу вслед за пиком заинтересованности на форумах, который мы рассматривали ранее.

Подводя итоги, скажем, что тренд на популярность использования ИИ злоумышленниками вызывает тревогу. Информация становится более доступной, многие проблемы решаются с помощью одного запроса. Все это позволяет упрощать жизнь людям, но одновременно с этим снижает порог входа для различных мошенников. Пусть сейчас многие рассмотренные решения не представляют реальной угрозы ввиду их бесхитростности, тем не менее технологии развиваются стремительными темпами, и вполне вероятно, что вскоре возможности языковых моделей позволят осуществлять сложные атаки.