Новейшие модели искусственного интеллекта не только замечательно разбираются в программной инженерии - новое исследование показывает, что они становятся все лучше в поиске ошибок в программном обеспечении.
Новейшие модели искусственного интеллекта не только замечательно разбираются в программной инженерии - новое исследование показывает, что они становятся все лучше в поиске ошибок в программном обеспечении.
Исследователи из Калифорнийского университета в Беркли проверили, насколько хорошо новейшие модели и агенты ИИ могут найти уязвимости в 188 крупных открытых кодовых базах. Используя новый эталон под названием CyberGym, модели ИИ выявили 17 новых ошибок, включая 15 ранее неизвестных, или "нулевого дня". "Многие из этих уязвимостей являются критическими", - говорит Доун Сонг, профессор Калифорнийского университета в Беркли, возглавлявший работу.
Многие эксперты ожидают, что модели ИИ станут грозным оружием кибербезопасности. Инструмент искусственного интеллекта от стартапа Xbow уже поднялся в рейтинге HackerOne по поиску ошибок и в настоящее время занимает первое место. Недавно компания объявила о новом финансировании в размере 75 миллионов долларов.
Сонг говорит, что навыки кодирования новейших моделей ИИ в сочетании с улучшением способности к рассуждению начинают менять ландшафт кибербезопасности. "Это поворотный момент", - говорит она. "Это превзошло наши общие ожидания".
По мере совершенствования моделей они будут автоматизировать процесс обнаружения и использования недостатков в системе безопасности. Это может помочь компаниям обеспечить безопасность своего программного обеспечения, но также может помочь хакерам во взломе систем. "Мы даже не старались", - говорит Сонг. "Если бы мы увеличили бюджет, позволили агентам работать дольше, они могли бы работать еще лучше".
Команда Калифорнийского университета в Беркли протестировала обычные модели ИИ с передовыми технологиями от OpenAI, Google и Anthropic, а также предложения с открытым кодом от Meta, DeepSeek и Alibaba в сочетании с несколькими агентами для поиска ошибок, включая OpenHands, Cybench и EnIGMA.
Исследователи использовали описания известных уязвимостей программного обеспечения из 188 программных проектов. Затем они скормили эти описания агентам кибербезопасности, работающим на основе передовых моделей ИИ, чтобы проверить, смогут ли они самостоятельно выявить те же недостатки, анализируя новые кодовые базы, проводя тесты и создавая пробные эксплойты. Команда также попросила агентов самостоятельно искать новые уязвимости в кодовых базах.
В ходе этого процесса инструменты ИИ создали сотни пробных эксплойтов, и среди них исследователи выявили 15 ранее невиданных уязвимостей и две уязвимости, которые ранее были раскрыты и исправлены. Эта работа дополняет растущее число доказательств того, что ИИ может автоматизировать обнаружение уязвимостей нулевого дня, которые потенциально опасны (и ценны), поскольку могут дать возможность взломать живые системы.
Похоже, ИИ суждено стать важной частью индустрии кибербезопасности. Эксперт по безопасности Шон Хилан недавно обнаружил дефект нулевого дня в широко используемом ядре Linux с помощью модели рассуждений o3 от OpenAI. В ноябре прошлого года компания Google объявила об обнаружении ранее неизвестной уязвимости в программном обеспечении с помощью ИИ в рамках программы Project Zero.
Как и другие представители индустрии программного обеспечения, многие компании, занимающиеся кибербезопасностью, увлечены потенциалом ИИ. Новая работа действительно показывает, что ИИ может регулярно находить новые уязвимости, но она также подчеркивает остающиеся недостатки этой технологии. Системы ИИ не смогли найти большинство дефектов и были поставлены в тупик особенно сложными из них.
"Работа просто фантастическая, - говорит Кэти Муссурис, основатель и генеральный директор Luta Security, - отчасти потому, что она показывает, что ИИ все еще не может сравниться с человеческим опытом - лучшие из комбинаций моделей и агентов (Claude и OpenHands) смогли найти только около 2 процентов уязвимостей. "Не стоит пока заменять людей, занимающихся поиском ошибок", - говорит Муссурис.
Муссурис говорит, что ее меньше беспокоит программное обеспечение для взлома с помощью ИИ, чем компании, вкладывающие слишком много средств в ИИ в ущерб другим методам.
Брендан Долан-Гавитт, доцент Нью-Йоркского университета Тандон и исследователь Xbow, говорит, что новая работа демонстрирует реалистичное обнаружение "нулевого дня" в относительно большом объеме кода с использованием широкого спектра задач, решаемых с помощью ИИ.
Долан-Гавитт говорит, что ожидает роста числа атак с использованием эксплойтов "нулевого дня" с помощью ИИ. "Сейчас это редкость, потому что очень мало людей обладают достаточным опытом для поиска новых уязвимостей и создания эксплойтов для них", - говорит он.
"Я думаю, что агентурный подход очень интересен для обнаружения нулевого дня", - говорит Хейден Смит, соучредитель Hunted Labs, стартапа, который предоставляет различные инструменты, в том числе и с использованием ИИ, для анализа кода на предмет слабых мест. Смит добавляет, что по мере того, как все больше людей смогут находить уязвимости с помощью ИИ, будет все важнее обеспечить ответственное раскрытие этих уязвимостей.
В работе, опубликованной в Интернете в мае, Сонг и другие исследователи измерили способность моделей ИИ находить ошибки, которые приносят денежные выплаты в виде вознаграждений за баг-баунти. Работа показала, что потенциально эти инструменты могут зарабатывать десятки тысяч долларов. Наибольшего успеха добился Клод Код из Anthropic, который нашел на досках вознаграждений за баги ошибки стоимостью 1350 долларов и разработал исправления для уязвимостей стоимостью 13 862 доллара, потратив на это несколько сотен долларов на вызовы API.
В апрельской записи в блоге Сонг и несколько других экспертов по безопасности ИИ предупреждают, что в ближайшем будущем постоянно совершенствующиеся модели, вероятно, будут выгоднее злоумышленникам, чем защитникам. В связи с этим особенно важно внимательно следить за тем, как развиваются возможности этих инструментов. С этой целью Сонг и другие исследователи основали Обсерваторию кибербезопасности AI Frontiers - совместную работу, которая будет отслеживать возможности различных моделей и инструментов ИИ с помощью нескольких контрольных показателей. По словам Сонга, среди всех областей риска, связанных с ИИ, кибербезопасность будет одной из первых, которая может стать серьезной проблемой.
Как вы относитесь к использованию инструментов ИИ для проверки уязвимостей программного обеспечения? Стоят ли преимущества того, чтобы рисковать и облегчать задачу хакерам? Дайте мне знать в комментариях ниже или напишите мне по адресу hello@wired.com.