В России появилась платформа для оценки генеративных нейросетей

16:20, июля 31, 2024 В России появилась первая независимая платформа на русском языке для оценки качества больших языковых моделей на основе пользовательских задач – LLM Arena. Ее создал Роман Куцев в коллаборации с экспертами по нейросетям и бывшими разработчиками TrainingData.ru. Рейтинг показывает, как генеративные нейросети справляются с реальными задачами пользователей – это один из самых популярных способов оценки качества ответов в мире. Платформа позволяет в режиме реального времени тестировать русскоязычные нейросети и оценивать качество их ответов в соответствии с запросом. Для сравнения пользователю предлагаются две случайные модели — при оценке он не будет знать, кем разработаны нейросети. Можно написать любой запрос, сравнить ответы моделей и выбрать тот, который пользователь посчитает лучшим (например, если он содержит больше фактов или является более развернутым и подкрепленным примерами и т.д.). Если ответы нерелевантные или похожие, это также можно отметить. На основе полученных оценок формируется рейтинг генеративных нейросетей на русском языке. Сейчас пользователям платформы доступны для тестирования 21 наиболее популярная генеративная нейросеть, среди которых как иностранные модели (ChatGPT, LLaMa), так и российские (YandexGPT, GigaChat, Saiga). Список доступных нейросетей регулярно пополняется: новые модели смогут добавить и их разработчики. «Наша цель — создать объективный, открытый и актуальный рейтинг языковых моделей на русском языке. Даже несмотря на...

Источник: itzine.ru

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Наука и Технологии

Китай стал лидером по патентам в сфере генеративных нейросетей — больше всех у Tencent и Baidu Китай доминирует в глобальной гонке патентов в сфере генеративных нейросетей. Опубликованный отчёт Организации Объединённых Наций указывает на то, чт …

Software 00:20, июля 11, 2024 | 3dnews.ru

Художники России, объединяйтесь: в России появилась национальная цифровая платформа для сферы изобразительного искусства Пресс-конференция, посвященная презентации цифровой платформы для представителей и поклонников сферы изобразительного искусства... …

Шоу бизнес 08:20, марта 10, 2025 | intermedia.ru

В России появилась новая платформа для развертывания ИИ-моделей на серверах компаний Компания Napoleon IT запустила новую платформу для локального развертывания больших языковых моделей — Napoleon OnPremAI. Как сообщили «Инк.» в росси …

Интересное 08:20, апреля 14, 2025 | incrussia.ru

В России появилась первая open-source платформа для тестирования рекламных алгоритмов Специалисты по ИИ из "Авито" создали уникальную платформу BAT (Benchmark for Auto-bidding Task) - открытую систему для совершенствования алгоритмов а …

Интересное 16:20, июня 19, 2025 | incrussia.ru

На Android появилась одна из лучших бесплатных нейросетей — Claude Компания Anthropic выпустила приложение своей нейросети Claude для Android. До этого момента пользоваться ею можно было только в браузере или в прило …

Наука и Технологии 08:20, июля 18, 2024 | iguides.ru

В России выпустили мини-компьютеры для нейросетей Холдинг «Росэлектроника» запустил в производство процессорный модуль «Фишт», разработанный отечественным конструкторским бюро …

Наука и Технологии 16:20, марта 14, 2025 | ixbt.com

В России пошло в серию «железо» для нейросетей с инновационной системой охлаждения Холдинг «Росэл» (входит в госкорпорацию «Ростех») запустил промышленное производство высокопроизводительных вычислительных комплексов с жидкостным ох …

Наука и Технологии 08:20, августа 11, 2025 | zoom.cnews.ru

В России разработали инструмент для оценки безопасности сетей 5G В российской ИТ-компании «Криптонит» (входит в «ИКС Холдинг») криптографы представили модель для анализа безопасности... …

Игры и Интернет 08:20, июля 11, 2025 | cnews.ru