Исследование показало, что программысты пишут менее безопасный код, если им помогает ИИ

Исследователи из Стэнфордского университета обнаружили, что программисты, которые пользуются ИИ-помощниками, вроде GitHub Copilot, пишут более незащищённый код, чем те, кто делает всё сам.

Исследователи изучили много примеров кода, и выяснили, что те, кто пользуются помощью нейросетей, создают больше уязвимостей в безопасности, чем те, кто не использует ИИ. Отметим, что ранее подобны исследования проводились в Нью-Йоркском университете, и там результаты были сходными.

Как оказалось, около 40% приложений, созданных с помощью Copilot, содержат в себе уязвимости, хотя речь идёт о потенциальных, а выявленных уязвимостях. В исследовании Нью-Йоркского университета рассматривались языки Python, C и Verilog. В Стэнфорде проанализировали код на Python, JavaScript и C. Во втором случае использовали систему Codex, разработанную лабораторией OpenAI.

В исследовании приняли участие 47 человек с разным уровнем — от студентов-бакалавров до специалистов. Как оказалось, те, кто пользовался ИИ-помощником, «значительно чаще» реализовывали небезопасные решения. В группе с ИИ правильные ответы дали 67%, во второй группе — без ИИ — 79%.

Из этого делается вывод, что к ИИ-помощникам следует относиться с осторожностью, особенно если сам разработчик неопытен. Но в будущем новые нейросети наверняка смогут улучшить показатели и упростить разработку приложений.

Отметим, что сейчас многие разработчики тестируют возможности нейросети ChatGPT, однако её пока не проверяли на умение писать безопасный код.