Глава 7 · Постобучение модели

Целостный взгляд на три стадии: предобучение, SFT и RL. Когда выбирать SFT, а когда RL, RLHF, сравнение алгоритмов, данные и среды, а также передовые исследования по обучению моделей вызову инструментов и повышению эффективности выборки.

← К оглавлению · 📖 Читать главу

Сопутствующие проекты

Эксп.	Проект	Тип	Описание
7-1, 7-2	learning-from-experience	✅	Запускает Q-learning и LLM-агента в одной среде поиска сокровищ для обучения на опыте.
7-8	prompt-distillation	✅	Дистиллирует примеры учителя в prompt ученика и сравнивает качество и стоимость.
7-3, 7-4	MiniMind-pretrain	📖	Предобучает малую языковую модель с нуля, чтобы понять полный процесс предобучения и ключевые технологии.
7-5	continued-pretraining	✅	Выполняет продолженное предобучение на доменных данных для повышения качества модели в целевой области.
7-6	sesame	✅	Sesame CSM speech SFT: дообучение 1B TTS-модели методом LoRA, управление выразительностью паралингвистическими тегами <laugh>, <sigh>
7-6	orpheus	✅	Orpheus 3B speech SFT: дообучение TTS-модели методом LoRA, клонирование голоса по референсному аудио с сохранением тембра между фразами
7-7	MultilingualReasoning	✅	Обучает рассуждения модели в многоязычной среде, повышая качество на кросс-язычных задачах.
7-9	cot-distillation	✅	Дистиллирует CoT-траектории из передовых моделей вроде Claude через OpenRouter; проверяет правилами и превращает в данные для SFT (сопровождает эксперимент 7-9).
7-10	AdaptThink	📖	Учит рассуждающие модели адаптивно выбирать режим рассуждения (Thinking или NoThinking) в зависимости от сложности задачи. Через оптимизацию с ограничениями и importance sampling значительно снижает стоимость рассуждений (45–69%) при росте точности. На базе модели DeepSeek-R1-Distill-Qwen, обучение алгоритмом DAPO.
7-11	SFTvsRL/	📖	Систематически сравнивает эффективность обучения с учителем (SFT) и обучения с подкреплением (RL) на разных задачах, анализируя сильные и слабые стороны и подходящие сценарии обоих методов.
7-12	SpatialReasoning	📖	Сфокусирован на обучении пространственных рассуждений модели для задач с пространственными отношениями — положением, направлением, расстоянием.
7-13	SimpleVLA-RL	📖	Объединяет зрение, язык и действие в обучении с подкреплением, позволяя моделям понимать визуальный вход и выполнять соответствующие действия.
7-14	RLVP	📖	Исследование постобучения по принципу «награждаем результат, штрафуем путь» (RLVP) (сопровождает эксперимент 7-14); полный код обучения/оценки находится в отдельном репозитории статьи 19PINE-AI/rlvp, его нужно клонировать самостоятельно
7-15	retool	📖	Использует многораундовый диалог и песочницу кода для усиления математических рассуждений больших языковых моделей. Через двухэтапное обучение SFT и RL модель учится применять среду исполнения кода при решении математических задач. На базе Qwen2.5-32B-Instruct, обучение на AIME 2024 алгоритмом DAPO и песочницей SandboxFusion.
7-16	AWorld/ · AWorld-train	📖	Обучает воплощённых агентов на базе фреймворка AWorld, позволяя им выполнять сложные задачи в виртуальной среде и учиться на опыте.
—	verl/	📖	verl — эффективный фреймворк обучения с подкреплением, специально созданный для RLHF-обучения больших языковых моделей, поддерживает алгоритмы PPO, GRPO, DAPO и др.
—	Intuitor	✅	Обучает интуитивные рассуждения модели, позволяя ей делать быстрые обоснованные суждения без развёрнутой цепочки рассуждений.
—	tinker-cookbook/	📖	Собирает практические приёмы и лучшие практики обучения моделей.
## Типы проектов

Значок	Тип	Значение
✅	Автономный	Полный код в этом репозитории, запускается после настройки API-ключа
📖	Гайд по воспроизведению	Подробный документ, зависящий от внешних репозиториев через git clone
🚧	Проектный документ	Только архитектура/план реализации, рабочий код ещё в разработке