7. fejezet · Modell-utóképzés¶

Az előképzést, SFT-t és RL-t tárgyalja: mikor melyiket érdemes választani, hogyan internalizálhatók az eszközhívások, és hogyan javítható a mintahatékonyság.

← Vissza a magyar főoldalhoz · 📖 A fejezet olvasása

Kapcsolódó projektek¶

Kísérlet	Projekt	Típus	Leírás
7-1, 7-2	learning-from-experience	✅	Azonos kincskereső környezetben hasonlítja össze a Q-learninget és az LLM-alapú tanulást.
7-3	MiniMind-pretrain · `MiniMind-pretrain/minimind/`	📖	Egy kis LLM nulláról történő előképzésének folyamatát mutatja be.
7-4	MiniMind-pretrain · `MiniMind-pretrain/minimind-v/`	📖	Egy kis látás-nyelvi modell előképzését és SFT-jét ismerteti.
7-5	continued-pretraining	✅	Tartományspecifikus adatokon folytatja az előképzést.
7-6	sesame · orpheus	🚧	Két beszéd-SFT útvonalat vizsgál paralingvisztikai címkékhez és mondatok közötti hangszínkonzisztenciához.
7-7	MultilingualReasoning	🚧	Több nyelven tanítja a modell következtetési képességét.
7-8	prompt-distillation	✅	Tanáradatot készít, diákmodellt képez, majd minőséget és költséget hasonlít össze.
7-9	cot-distillation	🚧	Helyes CoT-nyomvonalakat szűr, és SFT-adattá alakítja őket.
7-10	AdaptThink · `AdaptThink-original/`	📖	A feladat nehézsége alapján tanítja meg a modellt a Thinking és NoThinking mód közötti választásra.
7-11	`SFTvsRL/`	📖	Azonos költségkeret mellett hasonlítja össze az SFT memorizálását és az RL általánosítását.
7-12	SpatialReasoning · `SFTvsRL/`	📖	Belső és eloszláson kívüli térbeli következtetést tanít és értékel.
7-13	SimpleVLA-RL · `SimpleVLA-RL/SimpleVLA-RL/`	📖	A látást, nyelvet és cselekvést megerősítéses tanulásban kapcsolja össze.
7-14	RLVP · `RLVP/rlvp/`	📖	Az RLVP-kutatást reprodukálja: jutalmazza az eredményt, és bünteti az útvonalat.
7-15	retool · `verl/` · `SandboxFusion/`	📖	Kódértelmező használatára tanít veRL háttérrendszerrel és végrehajtási sandboxszal.
7-16	AWorld-train · `AWorld/`	📖	AWorld-alapú GAIA-környezetben tanít eszközhasználó ágenst.
—	`verl/`	📖	Hatékony RLHF-keretrendszer PPO, GRPO, DAPO és további algoritmusok számára.
—	Intuitor	✅	Hosszú gondolatmenet nélkül tanít intuitív következtetést.
—	`tinker-cookbook/`	📖	Modellképzési receptek és bevált gyakorlatok gyűjteménye.

Projekttípusok¶

Ikon	Típus	Jelentés
✅	Önálló	A teljes kód a repository-ban található, és az API-kulcsok beállítása után futtatható.
📖	Reprodukciós útmutató	Külső repository szükséges, amelyet külön kell `git clone` paranccsal letölteni.
🚧	Folyamatban	Az implementáció, a tanítás vagy az elfogadási bizonyíték még nem teljes.