Данные — 6 известных открытых семейств/релизов LLM: по одной строке на модель с точной настройкой dropout, областью её действия (предобучение или опубликованная конфигурация архитектуры) и ссылкой на первоисточник. Это направленная иллюстративная выборка, а не статистическая оценка доли всей отрасли; закрытые модели часто не раскрывают такие настройки.
Цвет: тёмный — все перечисленные виды dropout равны 0.0; оранжевый — dropout 0.1. Выборка иллюстративная: 6 моделей, а не вся отрасль.
Базовое предобучение. У крупных современных decoder-only моделей dropout часто явно равен нулю: данных много, переобучение не главный риск, а dropout замедляет обучение.
Опубликованная конфигурация архитектуры. Файл config.json показывает значения по умолчанию при загрузке модели; нули там означают, что dropout выключен «из коробки», но сам механизм в коде доступен.
Fine-tuning / LoRA. При дообучении, особенно на небольших датасетах, dropout по-прежнему применяют как опциональную регуляризацию.
Отсутствие публичной информации о настройках закрытых моделей не означает отсутствие dropout — такие модели в выборку не входят.
| Модель | Настройка dropout | Область | Источник |
|---|
Метод: 6 строк — по одной на семейство/релиз открытой LLM; каждая строка фиксирует точную настройку dropout из первоисточника (статья, README обучения или config.json), область действия настройки и URL. 3 хоста-источника, каждый URL подтверждает ровно одну строку. Выборка направленная и иллюстративная; доля по отрасли из неё не выводится. Для компактности в таблице сокращены названия источников.