Исследование Microsoft показывает, что модели ИИ все еще испытывают трудности с отладкой программного обеспечения

00:20, апреля 12, 2025 Модели искусственного интеллекта от таких компаний, как OpenAI и Anthropic, а также других ведущих лабораторий становятся всё более востребованными в сфере программирования. Генеральный директор Google, Сундар Пичаи, в октябре сообщил, что 25% нового кода в компании создаётся с использованием ИИ, тогда как Марк Цукерберг из Meta* выразил намерение активно внедрять технологии кодирования на базе ИИ в своего рода социальной сети. Тем не менее, даже лучшие модели, имеющиеся на данный момент, иногда сталкиваются с трудностями при устранении программных ошибок, которые могли бы легко решить опытные разработчики. Исследование, проведенное Microsoft Research, показало, что такие модели, как Anthropic Claude 3.7 Sonnet и OpenAI o3-mini, имеют затруднения с решением множества задач в тесте SWE-bench Lite, специально разработанном для оценки способности к разбору ошибок в программном обеспечении. Результаты исследования служат важным напоминанием о том, что, несмотря на уверенные заявления компаний вроде OpenAI, возможности ИИ всё ещё не достигают уровня человеческой экспертизы в программировании. Авторы исследования протестировали девять различных моделей в роли «агента на основе подсказок», имеющего доступ к различным отладочным инструментам, включая Python-отладчик. Агенту было поручено решить тщательно подобранный набор из 300 задач по отладке с использованием SWE-bench Lite. Как сообщают соавторы, даже при использовании более современных моделей агент редко успешно...

Источник: itzine.ru

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Наука и Технологии

Большие языковые модели испытывают трудности с координацией в социальных и кооперативных играх Большие языковые модели (LLM), такие как модель, лежащая в основе функционирования популярной диалоговой платформы ChatGPT, в настоящее время широко …

Software 08:20, мая 30, 2025 | android-robot.com

Мессенджер Max включили в реестр российского программного обеспечения Мессенджер Max включён в реестр российского программного обеспечения, пишет ТАСС. Это подтверждают данные официального реестра, где запись появилась …

Наука и Технологии 16:20, июня 14, 2025 | ferra.ru

Покупателей отечественного программного обеспечения поддержат снижением налогов С 2025 года российские компании смогут учитывать расходы на отечественное ПО и высокотехнологичные решения с двойным коэффициентом – это снизит налог …

Главные новости 00:20, ноября 13, 2024 | ruposters.ru

США заявили о новых ограничениях на поставки программного обеспечения в РФ и Белоруссию В Минторге Соединенных Штатов отметили, что также ввели экспортные ограничения в отношении четырех структур в Китае …

Экономика 22:28, июня 12, 2024 | tass.ru

Угрозы ИИ при разработке программного обеспечения выявлены в новом исследовании Исследователи UTSA недавно завершили одно из самых всеобъемлющих исследований на сегодняшний день, посвященных рискам использования моделей ИИ для ра …

Software 00:20, апреля 12, 2025 | android-robot.com

США запретили оказывать услуги в сфере программного обеспечения и IT в России Власти США ввели запрет на предоставление услуг в сфере IT и программного обеспечения на территории России, сообщается в документе Министерстве финан …

Главные новости 20:28, июня 12, 2024 | regnum.ru

США запретят оказывать России услуги в сфере программного обеспечения и IT Соединённые Штаты ввели запрет на предоставление услуг в сфере программного обеспечения лицам из Российской Федерации. …

Главные новости 20:56, июня 12, 2024 | russian.rt.com

"Руссофт": первая волна импортозамещения программного обеспечения начинает стихать Продажи российских разработчиков программного обеспечения корпоративным заказчикам в России в 2025 году составили 2,3 трлн рублей, что на 19% больше, …

Военное дело 16:20, февраля 4, 2026 | военное.рф