Как создавали Qwen3.8: полного журнала нет — лучше всего задокументирован Flash-Next, а «дистилляция Claude» остаётся обвинением, не фактом

Asked (verbatim):
«Интересно исследование на тему. Alibaba выпустила крайне популярную опенсурс ИИ-модел Qwen 3.8, на ней сделано крайне много штук. Вопрос — какие ресурсы понадобились для ее создания, как именно они дистилили клод, опенаи? идт, прям отчет как создавалась модель»

Отчет построен на evidence-ranked shortlist из 30 наиболее релевантных источников (22 независимых хоста), отобранных после сканирования 717 кандидатов: первичные технические отчеты Qwen (arXiv, Hugging Face, GitHub, Alibaba Cloud), обзоры и публикации 2025–2026 годов об обвинениях Anthropic. 20 строк — first-party раскрытия, 10 — обвинения в external distillation. Это не исчерпывающий перечень всей сети. Полного публичного журнала создания всего семейства Qwen3.8 не существует; ниже факты разделены на «first-party disclosed», «alleged/unverified» и «not disclosed».

Конвейер создания Qwen3.8 — что реально задокументировано на каждой стадии

Стадия 1

Наследие Qwen3 / Qwen3.5

first-party disclosed
  • ~36T токенов, 119 языков; web + PDF-документы (Qwen2.5-VL извлекала текст, Qwen2.5 чистила)
  • Синтетика от Qwen2.5-Math и Qwen2.5-Coder: учебники, QA, код
  • Предобучение в 3 стадии: >30T на 4K контексте → ~5T knowledge-intensive → long-context
  • Архитектурная база Qwen3.5 унаследована Qwen3.8-Max (2.4T-A95B)
Стадия 2

Предобучение / continued pretraining

first-party disclosed
  • Flash-Next: CPT на длине 256K, оптимизаторы Muon + AdamW, refitted scaling laws, без batch-size warmup (батч 25.2M)
  • ~1/3 токенов и ~1/9 training FLOPs против предшественника 397B-A17B; без единого loss spike
  • Omni-Flash: 4 стадии, General-стадия ~2.5T токенов (текст 1.1T, аудио 0.7T, изображения 0.35T и др.)
Стадия 3

Архитектурная дистилляция (внутренняя)

first-party disclosed
  • Teacher — собственный full-attention backbone, student — индексер Qwen Sparse Attention
  • Этап 1: ~2B токенов / 1,000 шагов (lr 1e-3) — дистилляция распределения attention
  • Этап 2: ~200B токенов / 8,000 шагов (lr 2.5e-5) совместного sparse-обучения
  • Это не дистилляция Claude или OpenAI
Стадия 4

Post-training

частично not disclosed
  • Линия методов Qwen3: long-CoT cold start → reasoning RL → thinking-mode fusion → general RL (>20 задач)
  • Max: scaled RL по агентным «harnesses», universal reward system, online data balancing
  • Объемы данных post-training для Qwen3.8 не раскрыты
Стадия 5

Открытые веса и распространение

first-party disclosed
  • Flash-Next: веса на Hugging Face/ModelScope (репозиторий 1.39 TB), лицензия qwen-community-1.0, GGUF в день релиза
  • Max 2.4T-A95B: открытые веса ~4.89 TB, своя лицензия, текст-only версия (без vision/1M-контекста облачной Max)
  • Flash-Next на HF: 1.7M загрузок, 1.0K лайков (на момент обзора)
alleged/unverified — вне официального конвейера

Обвинение Anthropic (письмо в Сенат, 10 июня 2026): операторы, связанные с Qwen-лабораторией Alibaba, якобы провели 28.8 млн обменов с Claude через ~25,000 фальшивых аккаунтов с 22 апреля по 5 июня 2026. Это цифры обвинителя из письма в Конгресс, не независимый технический аудит; публично показанной связи этих ответов с конкретным checkpoint Qwen3.8 в собранных источниках нет. В официальных материалах Qwen3.8 нет признания использования Claude, ChatGPT или GPT-4 как teacher; по OpenAI сопоставимого конкретного доказательства в отобранных материалах нет. Самоидентификация модели как «Claude» — слабая форензика сама по себе.

Наведите курсор на стадию, чтобы выделить её. Цвета бейджей: зелёный — раскрыто самой Alibaba/Qwen, серый — не раскрыто, терракотовый — обвинение без независимой верификации.

Ключевые факты

first-party disclosed Flash-Next — разреженный MoE: 125B параметров, 6B активных на токен + 51B n-gram embeddings; 48 слоёв; 512 экспертов (10 routed + 1 shared); нативный контекст 262,144, до 1M через YaRN — arxiv.org, huggingface.co
first-party disclosed Ресурсы видны только относительно: ~1/9 training FLOPs и ~1/3 токенов против 397B-A17B, ~202B токенов описанной CPT-фазы, Muon/AdamW и NVIDIA GPU в ядрах (FlashQLA) — абсолютные числа GPU, время, энергия и бюджет не опубликованы — arxiv.org
first-party disclosed Документированная линия Qwen3 (2025): ~36T токенов, 119 языков, три стадии pretraining и четыре стадии post-training — это подтверждённое происхождение методов семейства, а не доказательство тех же объёмов у Qwen3.8 — arxiv.org
alleged/unverified Обвинение Anthropic: 28.8 млн обменов с Claude через ~25,000 фальшивых аккаунтов (22 апр – 5 июн 2026) — on-the-record заявление в письме Сенату, не воспроизведённый аудит — letsdatascience.com, temperaturezero.com
alleged/unverified Более поздние публикации называют и бóльшие цифры (151 млн обменов в кампании мая–июля 2026 через 3,500 аккаунтов) — расхождения между источниками сами по себе сигнал неподтверждённости — news.ojobit.com

Матрица: что раскрыто и что не раскрыто

Аспект
Qwen3 (апр 2025)
Qwen3.8-Flash-Next
Qwen3.8-Max (2.4T-A95B)
Архитектура
раскрыта (dense + MoE, GQA, до 128K)
раскрыта полностью (125B-A6B, GDN+QSA, 512 экспертов)
раскрыта частично (2.4T-A95B, 92 слоя, база Qwen3.5)
Объём pretraining-токенов
~36T, 119 языков
только относительное: ~1/3 от 397B-A17B; абсолют не назван
не раскрыт
Состав корпуса / provenance
web + PDF, синтетика Qwen2.5-Math/Coder
не раскрыт
не раскрыт
Оптимизаторы и рецепт
3 стадии pretraining, 4 стадии post-training
Muon + AdamW, refitted scaling laws, без warmup, CPT в 2 этапа
только post-training: scaled RL, universal rewards
GPU count / wall-clock / абс. FLOPs
не раскрыты
не раскрыты (только ~1/9 FLOPs относительно)
не раскрыты
Энергия / стоимость
не раскрыты
не раскрыты
не раскрыты
Teacher-модели / внешняя дистилляция
strong-to-weak внутри семейства (235B→малые)
внутренняя: full attention → QSA indexer; внешних teacher не заявлено
teacher-модели не названы
Использование Claude / OpenAI
не заявлено; обвинений к Qwen3 в наборе нет
не заявлено; обвинения Anthropic не привязаны к checkpoint
не заявлено; обвинения не привязаны к checkpoint

Зелёная ячейка — first-party раскрытие, серая — not disclosed, терракотовая — зона обвинений без верификации. Не смешивайте модели: числа Qwen3 не переносятся на Qwen3.8.

Шкала надёжности источников

first-party disclosed — 20 строк (техотчёты и карточки Qwen/Alibaba и их прямые пересказы) alleged/unverified — 10 строк (обвинения Anthropic и их пересказы; независимого аудита нет)

Самые надёжные пункты — параметры и рецепт Flash-Next (первичные arXiv/Hugging Face/GitHub). Самые слабые — масштабы «дистилляции Claude»: только заявления одной стороны, с расходящимися цифрами между публикациями.

Все 30 источников

ИсточникДатаМодельСтатусСуть

Что нужно Alibaba опубликовать для настоящего model-creation report

Dataset mixture и provenance: полный состав корпуса pretraining и CPT, доли источников, фильтрация.
Доли синтетических данных и их teacher-модели; checkpoint lineage от Qwen3/3.5 к каждой модели 3.8.
Post-training в цифрах: объёмы SFT, число RL-запросов, устройство reward-систем.
Compute: тип и число ускорителей, GPU-часы, wall-clock, абсолютные FLOPs, энергия и стоимость.
Failures и ablations на целевом масштабе; аудит contamination и использования выходов третьих моделей.

Метод: evidence-ranked shortlist из 30 строк (после сканирования 717 кандидатов), собранных в сентябре 2026; каждая строка — URL, дата, модель, статус доказательности и детали архитектуры/рецепта/ресурсов/обвинений. Числа параметров и токенов — как заявлены в первичных материалах Qwen; цифры обвинений — заявления Anthropic без независимой верификации. Для компактности в таблице суть усечена до ~220 знаков; полные формулировки — по ссылкам. 20 строк first-party, 10 — allegations; независимых хостов 22.

This report was generated automatically by Keenable SELECT at a user's request, from publicly available web sources linked herein. Keenable does not review, verify, or endorse its contents and makes no representation as to accuracy, completeness, or timeliness; AI-based extraction may contain errors. Nothing in this report is investment, legal, financial, or other professional advice. All trademarks and referenced content remain the property of their respective owners; no affiliation or endorsement is implied. To report an error, rights concern, or request removal: legal@keenable.ai.

Keenable SELECTAsk your own question
Made with Keenable SELECT