30 секунд
На раннем этапе обучения ByteDance рассматривала модель размером до 10 трлн параметров, сообщил Financial Times со ссылкой на трёх собеседников. Ars Technica опубликовала материал 7 августа. По тому сообщению, окончательный размер должен был определиться позднее; ByteDance не ответила на запрос. Число описывает предполагаемый масштаб работы на момент публикации, а не измеренное качество или подтверждённый выпуск модели.
Подробнее
По словам одного собеседника FT, модель проходила предварительное обучение. Издание описывает типичную длительность этой стадии как три–шесть месяцев, после чего могут следовать дополнительная настройка и выпуск, если работа завершится успешно. Это не обещанный календарь релиза ByteDance.
В материале команда Seed под руководством бывшего сотрудника Google DeepMind У Юнхуэя оценивается примерно в 2 тысячи человек. Среди них исследователи, инженеры инфраструктуры, сотрудники разметки и переводчики. По словам собеседника, команда делает ставку на самостоятельное обучение, а не дистилляцию чужой модели.
Дистилляция означает обучение более компактной системы повторять знания или ответы другой модели. FT описала иной выбранный подход ByteDance, но не привела независимого измерения качества нового проекта. На дату сообщения его итоговый размер не был определён; компания не подтвердила материал комментарием изданию.
Что это значит
Число описывает проект
Сообщённые FT «до 10 трлн» относятся к раннему обучению ByteDance, а не к выпущенной модели. При ещё не определённом итоговом размере эта цифра показывает предполагаемый масштаб работы, но не позволяет вычислить качество ответа.
Стадия не календарь релиза
Предварительное обучение — только часть пути. Названная в материале обычная длительность стадии не является обещанной датой ByteDance: дальнейшая настройка и выпуск зависят от успешного завершения работы.
Команда, по словам собеседника, выбрала самостоятельное обучение. Это описание подхода, а не независимый результат. Для сопоставления с доступными моделями в августовском сообщении отсутствует главное — законченная система, проверенная на одинаковых заданиях.
