В инженерном разборе разработки функции кратких пересказов страниц в Firefox для iOS команда Mozilla описала подход к выбору языковой модели. Функция получает содержимое страницы, передаёт его модели и отображает сгенерированный пользователю пересказ.
Критерии оценки
Команда сравнивала несколько факторов одновременно: качество пересказа, скорость ответа модели, стоимость запросов и доступность весов модели. Для испытаний использовался набор страниц, релевантный задаче, а оценку качества обеспечивала отдельная модель-судья, проверявшая связность текста, соответствие источнику, сохранение существенных фактов и качество языка.
По совокупности критериев был выбран вариант Mistral Small. В отчёте подчёркнуто, что это решение отражает результаты конкретного проекта и набора тестов, а не является всеобъемлющим доказательством превосходства модели во всех задачах.
Ограничения методики
В документе отмечено, что качество короткого резюме не сводится к одному общему бенчмарку: важны длина исходного текста, сохранение ключевых фактов и отсутствие выдуманных деталей. Автоматический судья тоже может допускать ошибки, поэтому его оценки нельзя воспринимать как единственный показатель точности.
Также обращено внимание на различие между открытыми весами и полностью открытым проектом: доступ к весам не обязательно включает доступ к обучающим данным или коду. При повторении выбора модели необходимо проверять текущие условия лицензирования, актуальные показатели стоимости и характеристики модели, а не автоматически переносить параметры из прежнего инженерного отчёта.