Bab 7 · Pasca-Pelatihan Model¶
Membahas pre-training, SFT, dan RL: kapan menggunakan masing-masing, cara menginternalisasi tool calling, serta cara meningkatkan efisiensi sampel.
← Kembali ke README utama · 📖 Baca bab
Proyek Pendamping¶
| Eksperimen | Proyek | Jenis | Deskripsi |
|---|---|---|---|
| 7-1, 7-2 | learning-from-experience | ✅ | Membandingkan Q-learning dan LLM pada lingkungan pencarian harta karun yang sama. |
| 7-3 | MiniMind-pretrain · MiniMind-pretrain/minimind/ |
📖 | Mempelajari proses pre-training LLM kecil dari awal. |
| 7-4 | MiniMind-pretrain · MiniMind-pretrain/minimind-v/ |
📖 | Mempelajari pre-training dan SFT vision-language model kecil. |
| 7-5 | continued-pretraining | ✅ | Melanjutkan pre-training pada data domain tertentu. |
| 7-6 | sesame · orpheus | 🚧 | Dua jalur SFT suara untuk tag paralinguistik dan konsistensi timbre lintas kalimat. |
| 7-7 | MultilingualReasoning | 🚧 | Melatih kemampuan penalaran dalam beberapa bahasa. |
| 7-8 | prompt-distillation | ✅ | Membangun data guru, melatih siswa, dan membandingkan kualitas serta biaya. |
| 7-9 | cot-distillation | 🚧 | Menyaring trajectory CoT yang benar dan menyiapkannya sebagai data SFT. |
| 7-10 | AdaptThink · AdaptThink-original/ |
📖 | Mengajarkan model memilih mode Thinking atau NoThinking sesuai kesulitan. |
| 7-11 | SFTvsRL/ |
📖 | Membandingkan memori dan generalisasi SFT dengan RL pada anggaran yang sama. |
| 7-12 | SpatialReasoning · SFTvsRL/ |
📖 | Melatih serta mengevaluasi spatial reasoning ID dan OOD. |
| 7-13 | SimpleVLA-RL · SimpleVLA-RL/SimpleVLA-RL/ |
📖 | Menggabungkan visi, bahasa, dan tindakan dalam pelatihan RL. |
| 7-14 | RLVP · RLVP/rlvp/ |
📖 | Mereproduksi riset RLVP: memberi reward pada hasil dan penalti pada jalur. |
| 7-15 | retool · verl/ · SandboxFusion/ |
📖 | Melatih penggunaan code interpreter dengan backend veRL dan sandbox eksekusi. |
| 7-16 | AWorld-train · AWorld/ |
📖 | Melatih Agent menggunakan tool pada lingkungan GAIA berbasis AWorld. |
| — | verl/ |
📖 | Framework RLHF efisien untuk PPO, GRPO, DAPO, dan algoritme lain. |
| — | Intuitor | ✅ | Melatih penalaran intuitif tanpa chain-of-thought panjang. |
| — | tinker-cookbook/ |
📖 | Kumpulan resep dan praktik terbaik pelatihan model. |
Jenis Proyek¶
| Ikon | Jenis | Arti |
|---|---|---|
| ✅ | Mandiri | Kode lengkap tersedia di repositori dan dapat dijalankan setelah API Key dikonfigurasi. |
| 📖 | Panduan Reproduksi | Memerlukan repositori eksternal yang harus di-git clone. |
| 🚧 | Dalam Proses | Implementasi, pelatihan, atau bukti penerimaan belum lengkap. |