Создана тестовая среда для оценки работы ИИ

08:20, февраля 22, 2025 Международная группа ученых разработала платформу Computer Agent Arena, предназначенную для тестирования и улучшения работы компьютерных агентов, использующих искусственный интеллект. В проекте приняли участие специалисты из Университета Ватерлоо, Университета Гонконга, Salesforce Research и Университета Карнеги-Меллона.Компьютерные ассистенты- это программы, выполняющие задачи без постоянного вмешательства человека. Примеры таких ассистентов — голосовой помощник Siri, который может отправлять сообщения и организовывать встречи. Однако современные ИИ-ассистенты сталкиваются с трудностями при выполнении сложных задач, требующих взаимодействия с разными приложениями. Например, составление отчета о расходах может быть затруднено из-за необходимости искать данные в письмах, выписках и таблицах. Computer Agent Arena стала первой платформой, позволяющей тестировать ИИ-ассистентов в условиях реального компьютерного окружения. Это развитие предыдущего проекта OSWorld — первой масштабируемой среды для работы мультимодальных асистенов. По словам одного из разработчиков, профессора Университета Ватерлоо Виктора Чжуна, новая среда позволяет сравнивать различные модели ИИ на основе языковых и визуальных технологий. Пользователь выбирает операционную систему, приложения (например, Google Chrome или Excel), затем задает задачу ИИ-ассистенту, после чего система в режиме реального времени сравнивает выполнение задания двумя разными моделями....

Источник: www.ferra.ru

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Наука и Технологии

Создана нейросеть для оценки отторжения пересаженной почки Ученые Сеченовского Университета вместе с командой по искусственному интеллекту и большим данным билайна разработали ИИ-модель для оценки риска оттор …

Software 16:20, октября 17, 2024 | android-robot.com

WSJ: Критерием для оценки работы чиновников в США будет лояльность к Трампу Ключевым критерием оценки работы чиновников в США станет «добросовестное исполнение законов и политики» Трампа, пишет Wall Street Journal. Администра …

Промышленность, Энергетика 16:20, апреля 27, 2025 | forbes.ru

Установлен порядок оценки эффективности работы таможенных органов Приказ Минфина России от 18 марта 2024 г. № 24н "Об определении Перечня показателей оценки эффективности деятельности таможенных органов Российской Ф …

Закон 00:20, августа 18, 2024 | garant.ru

Делегация США прибыла в Каракас для оценки восстановления работы дипмиссий Делегация Государственного департамента США прибыла в Каракас для оценки возможного восстановления работы дипломатических миссий, сообщили в МИД Вене …

Главные новости 00:20, января 10, 2026 | russian.rt.com

Зампред АС Поволжского округа назвал критерий для оценки работы юристов По его мнению, универсальным критерием может стать достижение правового результата. Об этом судья сказал на III Казанском международном юрфоруме. …

Закон 08:20, сентября 28, 2024 | pravo.ru

В России создана надежная технология для работы сотовых сетей без электричества. «Работает без человека и без человека самодиагностируется» Специалисты из Новосибирска разработали батареи для вышек сотовой связи. Технология сама по себе не нова – за рубежом уже выпускают такие АКБ, но оте …

Наука и Технологии 20:00, июня 10, 2024 | zoom.cnews.ru

Новая тестовая система SSD Hardwareluxx: краткий обзор Обновление SSD-линейки неизбежно потянуло за собой и смену тестовой платформы для наших тестов SSD. Основной причиной стали накопители PCIe Gen5 и на …

Наука и Технологии 16:20, декабря 23, 2025 | hardwareluxx.ru

Вышла вторая тестовая версия Android 16 — новых функций пока очень мало Android 15 пока появилась далеко не на всех смартфонах, а Google уже выпустила второй предварительный вариант Android 16 для разработчиков. Компания …

Hardware 16:20, декабря 19, 2024 | 3dnews.ru