Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок

16:20, июля 25, 2025 По мере того как большие языковые модели (LLM), такие как ChatGPT, продолжают совершенствоваться, ожидания пользователей от них продолжают расти, в том числе в отношении того, насколько быстро они могут реагировать на наши все более сложные запросы, запрашивающие ответы на все более сложные проблемы и задачи. Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных. Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов. Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью. Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них. Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов. Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования. Вместо того, чтобы полагаться на ф...

Источник: android-robot.com

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Наука и Технологии

Бесконечность — это время ожидания до момента, когда экономика России лопнет На Западе обывателя продолжают тешить прогнозами, что экономика России когда-то должна сломаться под грузом тысяч санкций. От которых, кстати, страда …

Политика 16:20, октября 1, 2024 | eadaily.com

Собянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию работы медицинских учреждений и внедрение новых технологий. П …

Главные новости 16:20, февраля 8, 2025 | dni.ru

Каждый день пользуюсь режимом ожидания во время зарядки iPhone. Почему я теперь рекомендую его всем? Не знаю, помните вы или нет, но на iPhone еще со времен iOS 17 есть режим ожидания. Когда вы ставите смартфон на зарядку и поворачиваете его горизонт …

Наука и Технологии 00:20, ноября 15, 2025 | appleinsider.ru

Компания расширяет производство, сокращая его в своём автограде Российский автогигант вознамерился существенно расширить географию производства своих машин. До 2028 года концерн, чьё главное предприятие работает в …

Главные новости 16:20, ноября 3, 2025 | versia.ru

«Яндекс» запустит генерацию ИИ-подсказок для операторов контакт-центров Эксперты считают, что у компании есть все компетенции для этого, но на рынке уже активно работают конкуренты …

Наука и Технологии 16:20, мая 14, 2025 | vedomosti.ru

Набор подсказок для рецензирования изменений в ядре Linux и systemd при помощи AI Крис Мейсон (Chris Mason), создатель и мэйнтейнер файловой системы Btrfs, опубликовал проект review-prompts, содержащий коллекцию скриптов и подсказо …

Игры и Интернет 00:20, февраля 3, 2026 | opennet.ru

NVIDIA делает ставку на RTX 5060, сокращая поставки старших видеокарт RTX 50-серии Внутри компании этот подход рассматривается как ключевая стратегия на 2026 год. Ожидается, что именно RTX 5060 и RTX 5060 Ti 8 Гбайт станут основными …

Игры и Интернет 16:20, января 14, 2026 | itndaily.ru

Миллениалы учатся на курсах материнства Подготовка к родам – дело обоснованное и понятное. Много женских страхов собрал вокруг себя процесс родоразрешения. Но что с материнством?! Онлайн-шк …

Главные новости 08:20, ноября 5, 2024 | 443000.ru