AdaLoRA
lora_dropout
default 0.0
huggingface.co«Насколько распространена техника dropout в обучении современных LLM?»
«А насколько часто эта техника применяется в сценариях finetuning? Насколько это совместимо с LoRA и прочими PEFT техниками?»
Два набора данных: направленная выборка из 57 актуальных recipe/config-файлов с явно заданным lora_dropout из трёх открытых репозиториев (GitHub, с сильной концентрацией в двух из них) и матрица 10 PEFT-методов из актуальной официальной документации Hugging Face. Значения — агрегаты по трём встречающимся уровням dropout: 0, 0.05 и 0.1.
Каждая ячейка — метод, его нативный dropout-параметр и документированный default. Default — не рекомендация: это стартовое значение библиотеки. Отсутствие собственного параметра у метода не означает несовместимости с обычным model-level dropout.
Разумная стартовая сетка для LoRA/QLoRA — 0, 0.05 и 0.1. Для малого или шумного датасета и при явном переобучении чаще пробуют 0.05–0.1; для большого разнообразного корпуса, короткого обучения или underfitting — 0–0.05. Настройку валидируют вместе с rank, alpha, learning rate, target modules и числом эпох. Dropout базовой модели не переносится автоматически на адаптер: lora_dropout — отдельная регуляризация.
| lora_dropout | Файлов | Доля, % | Репозиториев | Репрезентативный источник |
|---|---|---|---|---|
| 0.05 | 29 | 50.9 | 2 | github.com — axolotl/examples/llama-2/lora.yml at main · axolotl-ai-cloud/axolotl |
| 0.0 | 15 | 26.3 | 3 | github.com — axolotl/examples/glm_moe_dsa/glm-5.2-nvfp4-lora.yaml at main · axolotl-ai-cloud/axolotl |
| 0.1 | 13 | 22.8 | 2 | github.com — unsloth/unsloth-cli.py at main · unslothai/unsloth |
Данные: 57 актуальных recipe/config-файлов с явно заданным lora_dropout из 3 открытых репозиториев (GitHub) — направленная выборка, не census; плюс 10 страниц официальной документации Hugging Face PEFT. Число — количество файлов на значение dropout и доля среди явных настроек; default — документированное стартовое значение параметра. Дефолтные/неуказанные значения и закрытые рецепты не учтены.