மாதிரி பிந்தைய பயிற்சி (Model Post-Training)¶

இந்த புத்தகத்தின் மைய சூத்திரம் Agent = LLM + Context + Tools ஆகும். இந்த அத்தியாயம் LLM-ஐ, அதாவது "மூளையை" மேம்படுத்துவதில் கவனம் செலுத்துகிறது—பிந்தைய பயிற்சியைப் பயன்படுத்தி, மாதிரியானது சூழல் (context) மற்றும் கருவிகளை (tools) சிறப்பாகப் பயன்படுத்தி, முழு Agent அமைப்பின் திறன்களை மேம்படுத்த உதவுகிறது. அத்தியாயம் 6-ன் இறுதியில், மதிப்பீட்டு அமைப்பு (evaluation system) மற்றும் உருவகப்படுத்துதல் சூழல் (simulation environment) ஆகியவை பிந்தைய பயிற்சியின் இரண்டு அடித்தளங்கள் என்பதைச் சுட்டிக்காட்டினோம்: மதிப்பீட்டுச் சூழல் பயிற்சிக்கான பயிற்சிக் களத்தை வழங்குகிறது, மற்றும் மதிப்பீட்டு அளவீடுகள் (evaluation metrics) பயிற்சியின் இலக்குகளை வரையறுக்கின்றன. இந்த அத்தியாயம் இந்த இரண்டு அடித்தளங்களின் மீது கட்டமைக்கப்பட்டு, மாதிரி எடைகளை (model weights) உண்மையில் எவ்வாறு மாற்றுவது மற்றும் திறன்களை அளவுருக்களில் (parameters) எவ்வாறு பொதிப்பது என்பதை விவாதிக்கிறது.

இந்த அத்தியாயம், வலுவூட்டல் கற்றல் (reinforcement learning) அல்லது மாதிரி பயிற்சி (model training) பற்றிய பின்னணி இல்லாத வாசகர்களை இலக்காகக் கொண்டது. சாய்வுகள் (gradients) அல்லது கொள்கை மேம்படுத்தல் (policy optimization) பற்றி உங்களுக்குத் தெரியும் என்று நாங்கள் கருதவில்லை. மாறாக, "ஒரு மாதிரி எவ்வாறு பயிற்றுவிக்கப்படுகிறது" என்ற அடிப்படைக் கருத்திலிருந்து தொடங்கி, ஒவ்வொரு படியின் நோக்கம், கொள்கைகள் மற்றும் தீர்க்கப்படும் சிக்கல்களை விளக்குகிறோம். இந்த அத்தியாயத்தைப் படித்த பிறகு, நீங்கள் பதிலளிக்க முடியும்: ஒரு மாதிரியின் திறன்களை வடிவமைக்க எத்தனை நிலைகள் தேவை, ஒவ்வொரு நிலையும் என்ன செய்கிறது, ஏன் இந்த வரிசை அவசியம், மற்றும் உங்கள் சொந்தத் திட்டங்களில் உங்கள் முயற்சிகளை எங்கு குவிக்க வேண்டும்.

முதலில், மிக முக்கியமான வரைபடத்தை நிறுவுவோம்: ஒரு நவீன மாதிரியின் திறன்கள் மூன்று நிலைகளில் வடிவமைக்கப்படுகின்றன. இந்த மூன்று நிலைகளும் ஒன்றோடொன்று இணைந்தவை மற்றும் தவிர்க்க முடியாதவை:

முன்-பயிற்சி (Pre-training): பாரிய இணைய உரைகளில் "அடுத்த வார்த்தையைக் கணிக்க" பயிற்சி அளித்தல். இந்தப் படி மாதிரிக்கு மொழி விதிகள், உலக அறிவு மற்றும் அடிப்படை பகுத்தறிவைக் கற்பிக்கிறது. இது ஒரு நூலகத்தில் உள்ள அனைத்து புத்தகங்களையும் படித்த ஒரு நபரைப் போன்றது—பரந்த அறிவு உள்ளது, ஆனால் கேள்விகளுக்குப் பதிலளிப்பதில் இன்னும் திறமையாக இல்லை. இது மிகவும் விலையுயர்ந்த படியாகும் (பெரும்பாலும் பல கோடி டாலர்கள்) மற்றும் அனைத்து திறன்களுக்கும் அடித்தளமாகும்.
மேற்பார்வையிடப்பட்ட நுண்-சரிப்படுத்தல் (Supervised Fine-Tuning - SFT)—பெயரிடப்பட்ட "உள்ளீடு-வெளியீடு" இணைகளில் மாதிரியைப் பயிற்றுவித்தல், ஒரு ஆசிரியர் மாணவர் பின்பற்றுவதற்காக தரமான பதில்களை வழங்குவது போல: ஆயிரக்கணக்கில் இருந்து பல்லாயிரக்கணக்கான "கேள்வி-தரமான பதில்" செயல்விளக்கத் தரவுகளைப் பயன்படுத்தி, மாதிரிக்கு "பதிலளிக்கும்போது எந்த வடிவம், பாணி மற்றும் செயல்முறையைப் பயன்படுத்த வேண்டும்" என்பதைக் கற்பித்தல். இந்தப் படி பரந்த அறிவுள்ள மாதிரியை, வழிமுறைகளைப் புரிந்துகொண்டு நன்கு கட்டமைக்கப்பட்ட வெளியீடுகளை உருவாக்கும் உதவியாளராக மாற்றுகிறது. இது மலிவானது, வேகமானது மற்றும் நிலையானது, மேலும் தற்போது கிட்டத்தட்ட அனைத்து பயன்படுத்தப்படும் மாதிரிகளும் இந்தப் படியை மேற்கொள்கின்றன.
வலுவூட்டல் கற்றல் (Reinforcement Learning - RL)—மாதிரி மீண்டும் மீண்டும் முயற்சித்து, வெகுமதிகள் மற்றும் தண்டனைகளிலிருந்து மேம்பட அனுமதித்தல், ஒரு நாய்க்குட்டியைப் பயிற்றுவிப்பது போல (சரியாகச் செய்தால் ஒரு பரிசு, இல்லையென்றால் ஒன்றுமில்லை): மாதிரிக்கு தரமான பதில்களைக் காண்பிப்பதை நிறுத்திவிட்டு, அதை சொந்தமாக முயற்சிக்க விடுவது, நல்ல நடத்தைகளின் நிகழ்தகவை அதிகரித்து மற்றும் கெட்ட நடத்தைகளின் நிகழ்தகவைக் குறைப்பது. இந்தப் படி, பார்த்திராத சூழ்நிலைகளில் கூட மாதிரி நியாயமான முடிவுகளை எடுக்க கற்றுக்கொடுக்கிறது—மேலும் இந்த அத்தியாயத்தில் அதிக இடத்தை எடுத்துக்கொள்ளும் மற்றும் அதிக பொறியியல் முயற்சி தேவைப்படும் படியும் இதுவே.

ஒரு உள்ளுணர்வு ஒப்புமை: முன்-பயிற்சி என்பது "பத்தாயிரம் புத்தகங்களைப் படிப்பது" (அறிவைக் குவிப்பது), SFT என்பது "ஒரு ஆசிரியர் உங்களுக்கு படிப்படியாக தரமான தீர்வுகளை வழிகாட்டுவது" (செயல்விளக்கங்களைப் பின்பற்றுவது), மற்றும் RL என்பது "சிக்கல்களை நீங்களே தீர்த்து, சரி அல்லது தவறு என்பதன் அடிப்படையில் சுத்திகரிப்பது" (சோதனை மற்றும் பிழை மூலம் கற்றல்). இந்த மூன்றும் ஒன்றுக்கொன்று மாற்றுகள் அல்ல; அவை ஒரு தொடர்ச்சியான செயல்முறை—முதலில் படியுங்கள், பின்னர் செயல்விளக்கங்களைப் பாருங்கள், இறுதியாக பயிற்சி செய்யுங்கள்.

இந்த அத்தியாயத்தில் முழுவதும் இயங்கும் இரண்டு முக்கிய கருப்பொருள்கள் உள்ளன. அவற்றை நினைவில் கொள்ளவும், ஏனெனில் அடுத்தடுத்த அனைத்து உள்ளடக்கமும் அவற்றிற்கு சேவை செய்கிறது:

கருப்பொருள் ஒன்று: SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது. ஒரே பணி மற்றும் பட்ஜெட்டுக்கு, SFT என்பது பயிற்சித் தரவுகளில் உள்ள பதில்களை மனப்பாடம் செய்வதற்கே வழிவகுக்கிறது, பயன்பாட்டு சூழல் பயிற்சியிலிருந்து வேறுபடும்போது தோல்வியடைகிறது. RL என்பது மாற்றத்தக்க ஒரு உத்தியை கற்றுக்கொள்வதற்கு வழிவகுக்கிறது, பார்த்திராத சூழ்நிலைகளிலும் நிலையாக இருக்கும். இது ஒரு முழக்கமாக மட்டுமல்லாமல், இந்த அத்தியாயம் கட்டுப்படுத்தப்பட்ட சோதனைகள் மூலம் மீண்டும் மீண்டும் சரிபார்க்கும் ஒரு அளவிடக்கூடிய நிகழ்வாகும். பிரிவு 7.1 இந்த வேறுபாட்டிற்கான அடிப்படை காரணங்களை விளக்குவதற்கு ஒரு முழுப் பகுதியையும் அர்ப்பணிக்கும்.
கருப்பொருள் இரண்டு: தரவு மற்றும் சூழல் வழிமுறைகளை விட முக்கியமானவை. தொழில்துறையிலிருந்து கிடைக்கும் மிகவும் எதிர்பாராத மற்றும் மதிப்புமிக்க பாடம் இதுவாகும். ஆயத்த RL வழிமுறைகளை (PPO, GRPO, போன்றவை) எவ்வாறு பயன்படுத்துவது என்பதை அறிவது போதுமானது. வெற்றியை உண்மையில் தீர்மானிப்பவை இரண்டு விஷயங்கள்: உருவகப்படுத்துதல் சூழல் (பயிற்சி மைதானம் போதுமான அளவு யதார்த்தமானதா?) மற்றும் பயிற்சித் தரவு (செயல்விளக்கங்கள் மற்றும் வெகுமதி சமிக்ஞைகளின் தரம் போதுமான அளவு அதிகமாக உள்ளதா?). பல சூழ்நிலைகளில், SFT தரவுத் தரம் போதுமானதாக இருந்தால், நீங்கள் RL ஐச் செய்ய வேண்டிய அவசியமே இல்லாமல் போகலாம். இந்த அத்தியாயம் உங்கள் கவனத்தை "எந்த வழிமுறையை டியூன் செய்வது" என்பதிலிருந்து "தரவு மற்றும் சூழல் சரியாக செய்யப்பட்டுள்ளதா?" என்பதற்கு தொடர்ந்து திருப்பிவிடும்.

வாசிப்பு வழிகாட்டி: இந்த அத்தியாயத்தின் உள்ளடக்கம் வாசகரின் பின்னணியின் அடிப்படையில் இரண்டு பாதைகளாகப் பிரிக்கப்பட்டுள்ளது:

ஏஜெண்ட் பயன்பாட்டு மேம்பாட்டாளர்கள் (தாங்களே மாதிரிகளைப் பயிற்றுவிக்க வேண்டிய அவசியமில்லை): "முன்-பயிற்சி, SFT, RL: ஒரு மூன்று-நிலை கண்ணோட்டம்" என்ற தொடக்கத்தைப் படித்து, ஒரு உலகளாவிய புரிதலை உருவாக்குங்கள். பின்னர் பின்வரும் இரண்டு [விருப்ப வாசிப்பு] பகுதிகளைத் (கிளாசிக் RL மற்றும் முன்-பயிற்சி பின்னணி) தவிர்த்துவிட்டு, SFT பகுதியிலிருந்து தொடரலாம். "SFT மற்றும் RL இன் அத்தியாவசிய வேறுபாடு" மற்றும் "எப்போது SFT vs. RL ஐ தேர்வு செய்வது" ஆகியவற்றிற்கான முடிவு கட்டமைப்பிலும், "தரவு மற்றும் சூழல் வழிமுறைகளை விட முக்கியமானவை" என்ற தீர்ப்பிலும் கவனம் செலுத்துங்கள்—இந்த நுண்ணறிவுகள் Harness பொறியியலில் உங்கள் வடிவமைப்பு முடிவுகளை பாதிக்கும் (எப்போது ப்ராம்ப்ட்களால் தீர்க்க வேண்டும், எப்போது ஃபைன்-டியூனிங் மதிப்புள்ளது).

மாதிரி பயிற்சி பொறியாளர்கள்: தொடக்கத்திலிருந்து வரிசையாகப் படியுங்கள். இரண்டு [விருப்ப வாசிப்பு] பகுதிகளும் வலுவூட்டல் கற்றல் மற்றும் முன்-பயிற்சி பற்றிய முழுமையான பின்னணியை வழங்குகின்றன. அடுத்தடுத்த சோதனைகள் மீண்டும் உருவாக்கக்கூடிய பயிற்சி திட்டங்களை வழங்குகின்றன.

முன்-பயிற்சி, SFT, RL: ஒரு மூன்று-நிலை கண்ணோட்டம்¶

அறிமுகம் மூன்று நிலைகளின் வரைபடத்தை வழங்கியது. இந்தப் பகுதி ஒவ்வொரு படியின் வழிமுறைகளையும் விரிவாக விளக்குகிறது. மூன்று நிலைகளின் தரவு, உகப்பாக்க இலக்குகள் மற்றும் செலவுகள் அனைத்தும் வேறுபட்டவை. அவற்றின் ஒற்றுமைகள் மற்றும் வேறுபாடுகளைப் புரிந்துகொள்வது முழு அத்தியாயத்தையும் புரிந்துகொள்வதற்கான திறவுகோலாகும். அட்டவணை 7-1 முதலில் ஒரு கண்ணோட்டத்தை வழங்குகிறது, அதைத் தொடர்ந்து விரிவான விளக்கம்.

அட்டவணை 7-1: மாதிரி திறன்களை வடிவமைக்கும் மூன்று நிலைகள்

நிலை	பயன்படுத்தப்படும் தரவு	உகப்பாக்க இலக்கு	கற்றுக்கொள்ளப்படுவது	வழக்கமான செலவு
முன்-பயிற்சி	பாரிய மூல இணைய உரை	அடுத்த டோக்கனைக் கணித்தல்	மொழி விதிகள், உலக அறிவு, அடிப்படை பகுத்தறிவு	மிக அதிகம் (மில்லியன்கள் முதல் பத்து மில்லியன் அமெரிக்க டாலர்கள் வரை)
SFT	ஆயிரக்கணக்கில் முதல் பல்லாயிரக்கணக்கில் "உள்ளீடு-வெளியீடு" விளக்க ஜோடிகள்	அடுத்த டோக்கனைக் கணித்தல் (இழப்பு பதிலில் மட்டுமே கணக்கிடப்படும்)	அறிவுறுத்தல் பின்பற்றுதல், வெளியீட்டு வடிவம், பாணி, செயல்முறை நெறிமுறை	குறைவு (மணிநேரங்கள் முதல் நாட்கள் வரை)
RL	பணி + வெகுமதி செயல்பாடு (நிலையான பதில் இல்லை)	எதிர்பார்க்கப்படும் வெகுமதியை அதிகப்படுத்துதல்	மாற்றத்தக்க முடிவெடுக்கும் உத்தி, புதிதாக கண்டுபிடிக்கப்பட்ட தீர்வுகள்	அதிகம் (பெரும்பாலும் SFT ஐ விட பத்து முதல் நூறு மடங்கு)

முன்-பயிற்சி என்ன செய்கிறது: அடுத்த டோக்கனைக் கணித்தல்¶

நவீன பெரிய மாதிரிகளின் அனைத்து "நுண்ணறிவும்" மிகவும் எளிமையான ஒரு பணியின் மீது கட்டமைக்கப்பட்டுள்ளது, அது ஆச்சரியமளிக்கிறது: அடுத்த டோக்கன் கணிப்பு (NTP).

மாதிரிக்கு ஒரு உரையின் முதல் பகுதியைக் காட்டி, அடுத்த டோக்கனை யூகிக்கச் சொல்லுங்கள். எடுத்துக்காட்டாக, "சீனாவின் தலைநகர்" என்ற உள்ளீடு கொடுக்கப்பட்டால், மாதிரி "பெய்ஜிங்" என்பதற்கு அதிக நிகழ்தகவை ஒதுக்க வேண்டும். ஒவ்வொரு முறை மாதிரி யூகிக்கும்போதும், அது தனது கணிப்பை உண்மையான அடுத்த டோக்கனுடன் ஒப்பிடுகிறது. வேறுபாடு (இழப்பு எனப்படும்) பெரியதாக இருந்தால், அடுத்த முறை ஒத்த சூழல்களில் மிகவும் துல்லியமாக யூகிக்க அது தனது அளவுருக்களை அதிகமாக சரிசெய்கிறது. இணைய உரையின் டிரில்லியன் கணக்கான டோக்கன்களில் இதை மீண்டும் மீண்டும் செய்வதன் மூலம், மாதிரி இலக்கணம், உண்மைகள், தர்க்கம் மற்றும் அடிப்படை பகுத்தறிவு ஆகியவற்றைக் கற்க நிர்ப்பந்திக்கப்படுகிறது—ஏனெனில் பரந்த அளவிலான சூழல்களில் அடுத்த வார்த்தையை சீராக சரியாக யூகிக்க, எந்த குறுக்கு வழியும் இல்லை; அது உரையில் உள்ள வடிவங்களை உண்மையில் "ஜீரணிக்க" வேண்டும்.

SFT மற்றும் RL வரை தொடரும் ஒரு முக்கியமான புள்ளியை நினைவில் கொள்ள வேண்டும்: மாதிரியின் வெளியீடு அடிப்படையில் ஒரு நிகழ்தகவு பரவல் ஆகும். முந்தைய உரையைக் கொடுத்து, மாதிரி அதன் சொற்களஞ்சியத்தில் உள்ள ஒவ்வொரு சாத்தியமான டோக்கனுக்கும் ஒரு நிகழ்தகவை ஒதுக்குகிறது. "பயிற்சி," அதன் மையத்தில், இந்த நிகழ்தகவு பரவலை சரிசெய்வதாகும்—விரும்பிய டோக்கன்களின் நிகழ்தகவை அதிகரித்து, விரும்பாதவற்றைக் குறைப்பது. மூன்று நிலைகளுக்கும் இடையே உள்ள வேறுபாடு "எது விரும்பப்படுகிறது" மற்றும் "'விரும்பப்பட்டதை' எந்த சமிக்ஞை வரையறுக்கிறது" என்பதில் மட்டுமே உள்ளது.

முன்-பயிற்சிக்குப் பிறகு, மாதிரி புலமை மிக்கதாக ஆனால் பயனர் நட்புடன் இல்லை: நீங்கள் அதற்கு ஒரு கேள்வியைக் கேட்டால், அது பதிலளிப்பதற்குப் பதிலாக மேலும் கேள்விகளை உருவாக்கலாம்—ஏனெனில் இணைய உரையில், ஒரு கேள்வியை அடுத்து மற்றொரு கேள்வி வருவது பொதுவானது. "ஒரு கேள்வி கேட்கப்பட்டால், நீங்கள் பதிலளிக்க வேண்டும்" என்ற நெறிமுறையை அது இன்னும் கற்றுக்கொள்ளவில்லை.

SFT இன் சாராம்சம்: வெவ்வேறு தரவுகளுடன் "அடுத்த டோக்கனைக் கணித்தல்"¶

இந்த அத்தியாயத்தில் புரிந்துகொள்ள வேண்டிய முதல் முக்கிய நுண்ணறிவு இதுதான்: கணித ரீதியாக, SFT மற்றும் முன்-பயிற்சி ஒரே பணி—இரண்டும் அடுத்த டோக்கனைக் கணித்து ஒரே இழப்பு செயல்பாட்டைக் குறைக்கின்றன. பல ஆரம்பநிலையாளர்கள் SFT என்பது முற்றிலும் புதிய முறை என்று நினைக்கிறார்கள், ஆனால் அது இல்லை. SFT மற்றும் முன்-பயிற்சிக்கு இடையே உள்ள வேறுபாடு இரண்டு விஷயங்கள் மட்டுமே:

வெவ்வேறு தரவு. முன்-பயிற்சி (pre-training) மூல மின்னிலக்க உரையைப் பயன்படுத்துகிறது (கட்டமைப்பற்றது, அனைத்தையும் கொண்டுள்ளது); SFT கவனமாகத் தயாரிக்கப்பட்ட "உள்ளீடு-வெளியீடு" இணைகளைப் பயன்படுத்துகிறது, இவை சீரான முறையில் "பயனர் கேள்வி → சிறந்த பதில்" என வடிவமைக்கப்பட்டுள்ளன. இந்த விளக்கங்களின் மீது மாதிரி "அடுத்த டோக்கனைக் கணிப்பதை" தொடர்கிறது, இதன் மூலம் "ஒரு கேள்வி கேட்கப்பட்டால் பதிலை எவ்வாறு கட்டமைப்பது" என்ற நெறிமுறையைக் கற்றுக்கொள்கிறது.
"பதில்" மீது மட்டுமே இழப்பு கணக்கிடப்படுகிறது (loss masking). ஒரு SFT மாதிரியானது ஒரு கேள்வியையும் ஒரு பெயரிடப்பட்ட பதிலையும் கொண்டுள்ளது. மாதிரி "எப்படி கேள்வி கேட்பது" என்பதைக் கற்றுக்கொள்ள விரும்பவில்லை, "எப்படி பதில் சொல்வது" என்பதை மட்டுமே கற்றுக்கொள்ள விரும்புகிறோம். எனவே, இழப்பைக் கணக்கிடும்போது, கேள்விப் பகுதியில் உள்ள டோக்கன்கள் மறைக்கப்பட்டு (masked), சாய்வுகள் (gradients) பதில் பகுதிக்கு மட்டுமே பின்பரப்பப்படும் (backpropagated). SFT க்கும் முன்-பயிற்சிக்கும் இடையேயான ஒரே குறிப்பிடத்தக்க பொறியியல் வேறுபாடு இதுதான்.

இதைப் புரிந்துகொள்வது "SFT மனப்பாடம்" (memorization) என்பதை தர்க்கரீதியாக்குகிறது: SFT இன் உகப்பாக்க இலக்கு, பெயரிடப்பட்ட பதிலில் உள்ள ஒவ்வொரு டோக்கனின் நிகழ்தகவையும் அதிகரிப்பதாகும்—வேறு வார்த்தைகளில் சொன்னால், "இந்த நிலையான பதிலை சரியாக மனப்பாடம் செய்." அதே கேள்வி கொடுக்கப்பட்டால், விளக்கத்தை முடிந்தவரை நெருக்கமாக மீண்டும் உருவாக்க பயிற்சியளிக்கப்படுகிறது. தெளிவான இலக்குகள் மற்றும் நிலையான வடிவங்களைக் கொண்ட பணிகளுக்கு இது மிகவும் திறமையானது (ஆயிரக்கணக்கான எடுத்துக்காட்டுகள் போதுமானவை), ஆனால் அதன் திறன் எல்லையும் விளக்கத் தரவுகளுடன் பிணைக்கப்பட்டுள்ளது: விளக்கங்களில் இல்லாத சூழ்நிலைகளை அது கற்றுக்கொள்ளவில்லை; விளக்கத்தில் உள்ள பதில் இனி பொருந்தாது என்றால் (சூழல் மாறுகிறது), அது இன்னும் அதை மனப்பாடமாகச் சொல்லும்.

சுருக்கமாக, SFT இன் சாராம்சம்: மிக அதிக சாம்பிள் திறனுடன், ஒரு நிலையான "உள்ளீடு→வெளியீடு" வரைபடம் மற்றும் நெறிமுறையை அளவுருக்களில் உறுதிப்படுத்துவதாகும். இது உறுதிப்படுத்துவது நெறிமுறை அறிவு (எப்படி சொல்வது, எப்படி செய்வது) அதாவது "வடிவம், பாணி, செயல்முறை" போன்றவை, அதிக அளவிலான உண்மை அறிவு (என்ன தெரிந்திருக்க வேண்டும்) அல்ல—பிந்தையது முன்-பயிற்சி அல்லது RAG ஐ நம்பியுள்ளது (இந்த வேறுபாட்டை அத்தியாயத்தின் முடிவில் மீண்டும் பார்ப்போம்).

பயிற்சிச் செலவு: LoRA அளவுரு-திறமையான நுண் சரிப்படுத்தல். SFT மற்றும் அதைத் தொடர்ந்து வரும் RL ஆகிய இரண்டிற்கும் மாதிரி அளவுருக்களைப் புதுப்பிக்க வேண்டும், மேலும் முழு-அளவுரு நுண் சரிப்படுத்தலுக்கு அதிக VRAM தேவைப்படுகிறது (பில்லியன் கணக்கான அளவுருக்களுக்கான சாய்வுகள் மற்றும் உகப்பாக்கி நிலைகளைச் சேமிக்க வேண்டும்). LoRA (Low-Rank Adaptation) என்பது மிகவும் பொதுவான செலவு-சேமிப்பு முறையாகும்: இது பெரிய அசல் எடை அணிகளை மாற்றுவதற்குப் பதிலாக, பணியைக் கற்றுக்கொள்ள ஒரு சிறிய "இணைப்பு" (குறைந்த-தர அணி) இணைக்கிறது. அளவுருக்களின் எண்ணிக்கை அசலில் 1%–5% மட்டுமே, ஆனால் இது முழு நுண் சரிப்படுத்தலின் செயல்திறனை நெருங்க முடியும். அசல் எடைகள் உறைந்திருப்பதால், LoRA அடிப்படை மாதிரியின் தற்போதைய திறன்களில் குறைவான இடையூறுகளை ஏற்படுத்துகிறது, இது பேரழிவு மறதி அபாயத்தைக் குறைக்கிறது. பல சரிபார்க்கப்பட்ட நடைமுறை அனுபவங்கள்[^ch7-1]: கட்டாயமாக LoRA ஐ அனைத்து முக்கிய எடை அணிகளுக்கும் (குறிப்பாக MLP அடுக்குகள், அதிக அளவுரு எண்ணிக்கையைக் கொண்டவை) பயன்படுத்த வேண்டும்; கவன அடுக்குகளுக்கு மட்டும் பயன்படுத்தினால் செயல்திறன் குறையும். உகந்த கற்றல் விகிதம் முழு நுண் சரிப்படுத்தலை விட சுமார் 10 மடங்கு அதிகமாகும் (SFT மற்றும் RL இரண்டிற்கும் பொருந்தும், மிகவும் நடைமுறைக்குரிய மாற்று விதி). SFT க்கு நடுத்தர முதல் உயர் தரத்தை (64–256) பயன்படுத்தவும்; RL க்கு ஒரு சுற்றுக்கான தகவல் சிறியதாக இருப்பதால், சிறிய தரம் (8–32) அல்லது rank=1 கூட போதுமானது. வரிசைப்படுத்தலின் போது, ஒரு ஒற்றை அனுமான சேவையகம் பல LoRA அடாப்டர்களை ஒரே நேரத்தில் ஏற்றி பல-வாடிக்கையாளர் சேவையை வழங்க முடியும். இந்த புத்தகம் LoRA ஐ அனைத்து பிந்தைய-பயிற்சி முறைகளுக்கும் இயல்புநிலை பொறியியல் தேர்வாகக் கருதுகிறது மற்றும் அதைத் தனித்தனியாக விளக்காது.

SFT ஏன் RL க்கு முன் வர வேண்டும், மற்றும் நேர்மாறாக அல்ல¶

மூன்று நிலைகளின் வரிசை தன்னிச்சையானது அல்ல. முன்-பயிற்சி முதலில் வருவது சர்ச்சைக்குரியதல்ல—மொழி மற்றும் அறிவின் அடித்தளம் இல்லாமல், வேறு எதுவும் சாத்தியமில்லை. விளக்கம் தேவைப்படுவது: SFT ஏன் RL க்கு முன் வர வேண்டும்?

RL எவ்வாறு செயல்படுகிறது என்பதில் பதில் உள்ளது. RL நிலையான பதில்களைப் பார்க்காது; அது மாதிரியை அதன் சொந்த பதில்களை உருவாக்க அனுமதிக்கிறது, பின்னர் பதிலின் தரத்தின் அடிப்படையில் வெகுமதிகள் அல்லது அபராதங்களை வழங்குகிறது. ஆனால் தரத்தை மதிப்பிடுவதற்கு, முதலில் மாதிரியின் வெளியீட்டை பாகுபடுத்த முடிய வேண்டும்: பணிக்கு JSON பொருள் அல்லது கருவி அழைப்பை வெளியிட வேண்டும் என்றால், மாதிரி மோசமான வடிவமைப்பில் குழப்பமான உரையை உருவாக்கினால், வெகுமதி செயல்பாட்டிற்கு கணக்கிடுவதற்கு எந்த அடிப்படையும் இல்லை (அது "வெற்றி தோல்வியை" கூட சொல்ல முடியாது), மேலும் RL கற்றுக்கொள்ள முடியாது.

எனவே, SFT "முதலில் பேச்சைச் சரிசெய்வதன்" பாத்திரத்தை வகிக்கிறது: சில எடுத்துக்காட்டுகளைப் பயன்படுத்தி வெளியீட்டு வடிவமைப்பை நிலைப்படுத்தி, அதை நம்பத்தகுந்த முறையில் பாகுபடுத்த முடியும், இது RL க்கு மதிப்பெண் வழங்குவதற்கான தொடக்கப் புள்ளியை அளிக்கிறது. இதுவே தொழில்துறையின் மிகவும் உறுதியான "முதலில் SFT, பின்னர் RL" என்ற இரு-நிலை முன்னுதாரணமாகும். முதலில் RL மற்றும் பின்னர் SFT செய்வது வேலை செய்யாது—நிலையான வெளியீடு இல்லாமல், வெகுமதி சமிக்ஞை வெறும் சத்தமாகும். சீன ஓவியத்திலிருந்து ஒரு கருத்தைக் கடன் வாங்கினால்: SFT முதலில் "வடிவத்தை" (வடிவமைப்பு, கட்டமைப்பு) நிறுவுகிறது, பின்னர் RL "ஆவியை" (உத்தி, பொதுமைப்படுத்தல்) தேடுகிறது—முதலில் வடிவம், பின்னர் ஆவி.

ஒரு முக்கியமான எல்லை நிபந்தனை: "SFT முதலில் வர வேண்டும்" என்பது "சிறிய அடிப்படை மாதிரி + கண்டிப்பான கட்டமைக்கப்பட்ட வெளியீடு" என்ற அமைப்பில் உண்மையாகும் (சோதனை 7-11 இல், Llama-3.2-Vision-11B அளவிலான ஒரு மாதிரி SFT இல்லாமல் நேரடியாக RL செய்தால் முற்றிலும் தோல்வியடைவதைக் காண்போம்). இருப்பினும், அடிப்படை மாதிரி போதுமான வலிமையாக இருந்தால், அது ஆரம்பத்திலிருந்தே போதுமான வெளியீட்டை உருவாக்க முடியும், இதனால் SFT ஐத் தவிர்க்கலாம்—DeepSeek-R1-Zero, ஒரு வலுவான அடிப்படை மாதிரி நேரடி RL உடன் வெற்றிபெற முடியும் என்பதை நிரூபித்தது, தானாகவே பிரதிபலிப்பு மற்றும் நீண்ட சிந்தனைச் சங்கிலியை வெளிப்படுத்தியது. இதன் விலை மோசமான வெளியீட்டு வாசிப்புத்திறன் மற்றும் கலந்த சீன/ஆங்கிலம் ஆகும், எனவே DeepSeek இறுதியாக R1 இல் "குளிர்-தொடக்க SFT" ஐ மீண்டும் சேர்த்து "வடிவத்தை" மீண்டும் நிறுவியது. R1 இன் Zero இலிருந்து குளிர்-தொடக்கம் வரையிலான பயணமே "முதலில் வடிவம், பின்னர் ஆவி" என்பதற்கான சிறந்த விளக்கமாகும்.

SFT மற்றும் RL இடையேயான அடிப்படை வேறுபாடு (இந்த அத்தியாயத்தின் மிக முக்கியமான அட்டவணை)¶

"SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது" என்று நாம் மீண்டும் மீண்டும் கூறியுள்ளோம். இப்போது அடிப்படை காரணங்களை முழுமையாக விளக்குவோம். இரண்டிற்கும் இடையேயான அனைத்து வேறுபாடுகளும் வெவ்வேறு உகப்பாக்க இலக்குகளிலிருந்து உருவாகின்றன:

SFT ஆனது "நிலையான பதிலை எவ்வளவு ஒத்திருக்கிறது" என்பதை உகப்பாக்குகிறது. இலக்கு, லேபிளிடப்பட்ட பதிலின் நிகழ்தகவை அதிகரிப்பதாகும் (அதிகபட்ச சாத்தியக்கூறு). ஒரு கேள்விக்கு, ஒரே ஒரு "சரியான" வெளியீடு மட்டுமே உள்ளது—விளக்க பதில். மாதிரி இந்த ஒற்றைப் பாதையை நெருங்க இழுக்கப்படுகிறது, "இந்த உள்ளீட்டைப் பார், அந்த வெளியீட்டை உருவாக்கு" என்ற நிலையான மேப்பிங்கைக் கற்றுக்கொள்கிறது. எனவே அது மனப்பாடம் செய்கிறது: பயிற்சியின் போது, J/Q/K அனைத்தும் 10 மதிப்புடையவை, அது "J/Q/K ஐப் பார்க்கும்போது, 10 ஐப் பயன்படுத்து" என்பதை மனப்பாடம் செய்கிறது; சோதனையின் போது, J 11 ஆக மாறுகிறது, அது இன்னும் 10 ஐப் பயன்படுத்துகிறது, இதனால் பிழை ஏற்படுகிறது.
RL ஆனது "முடிவு எவ்வளவு நல்லது" என்பதை உகப்பாக்குகிறது. இலக்கு, எதிர்பார்க்கப்படும் வெகுமதியை அதிகரிப்பதாகும். ஒரு கேள்விக்கு, எந்த வெளியீடும் அதிக வெகுமதியை அடைந்தால் நல்லது—ஒன்று மட்டுமல்ல. மாதிரி பல பாதைகளைத் தானாக ஆராய்கிறது, நல்ல முடிவுகளைத் தரும் பாதைகளை வலுப்படுத்துகிறது. இது "எந்த செயல்முறை சரியான முடிவுக்கு வழிவகுக்கிறது" என்பதற்கான பொதுவான உத்தியை கற்றுக்கொள்கிறது: J 11 ஆக மாறும்போது, மனப்பாடம் செய்த பதிலைப் பயன்படுத்தாமல், அதே உத்தியைப் பயன்படுத்தி மீண்டும் கணக்கிடுகிறது. இதுவே பொதுமைப்படுத்தல் ஆகும்.

அட்டவணை 7-2: SFT மற்றும் RL இன் அடிப்படை ஒப்பீடு

பரிமாணம்	SFT (மேற்பார்வையிடப்பட்ட நுண் சரிப்படுத்தல்)	RL (வலுவூட்டல் கற்றல்)
உகப்பாக்க இலக்கு	லேபிளிடப்பட்ட பதிலின் நிகழ்தகவை அதிகரித்தல் (அதிகபட்ச சாத்தியக்கூறு)	எதிர்பார்க்கப்படும் வெகுமதியை அதிகரித்தல்
பயிற்சி சமிக்ஞை	ஒற்றை நிலையான பதில் (ஒவ்வொரு டோக்கனுக்கும் மேற்பார்வை)	பல சுய-உருவாக்கிய பதில்கள் + வெகுமதி (ஒரு பதிலுக்கு ஒரு வெற்றி/தோல்வி சமிக்ஞை)
தரவு வடிவம்	"உள்ளீடு-வெளியீடு" விளக்க ஜோடிகள்	பணி + வெகுமதி செயல்பாடு (நிலையான பதில் தேவையில்லை)
கற்றுக்கொள்வது என்ன	நிலையான "உள்ளீடு→வெளியீடு" மேப்பிங் (மனப்பாடம்)	மாற்றத்தக்க முடிவெடுக்கும் உத்தி (பொதுமைப்படுத்தல்)
பரவல் மாற்றத்தின் கீழ்	சூழல் மாறும்போது பழைய பதிலைப் பயன்படுத்துகிறது, செயல்திறன் குறைகிறது	அதே உத்தியைப் பயன்படுத்தி மீண்டும் தீர்க்கிறது, மிகவும் நிலையானது
சாம்பிள் திறன்	அதிகம் (ஆயிரக்கணக்கான எடுத்துக்காட்டுகள் பயனுள்ளவை)	குறைவு (SFT ஐ விட பத்து முதல் நூறு மடங்கு அதிகம் தேவைப்படலாம்)
பயிற்சி நிலைத்தன்மை	அதிகம், விரைவாக ஒருங்கிணைகிறது	குறைவு, ஊசலாட்டத்திற்கு ஆளாகிறது, கவனமான சரிசெய்தல் தேவை
மிகவும் பொருத்தமானது	வடிவம்/பாணி/செயல்முறையை உறுதிப்படுத்த, உயர்தர செயல்விளக்கங்கள், நிலையான சூழல்	புதிய சூழ்நிலைகளுக்குப் பொதுமைப்படுத்துதல், உகந்த உத்திகளை ஆராய்தல், லேபிளிடும் செலவு அதிகமாக இருக்கும் நிலை

மேலும் ஆழமான, ஆனால் மதிப்புமிக்க ஒரு வழிமுறை உள்ளது, அது முறை-தேடல் (mode-seeking) எனப்படும். இதுவே RL "சில நல்ல உத்திகளில் ஒருங்கிணைகிறது" என்பதை விளக்குகிறது. ஒரு கேள்விக்கு மாதிரி வழங்கக்கூடிய அனைத்து சாத்தியமான பதில்களின் நிகழ்தகவுப் பரவலில் பல "முறைகள்" (modes) இருக்கலாம் (ஒவ்வொரு முறையும் ஒரு வகை நியாயமான பதில் முறை). SFT பயன்படுத்தும் அதிகபட்ச சாத்தியக்கூறு (maximum likelihood) நிறை-உள்ளடக்கும் (mass-covering) ஆகும்—இது செயல்விளக்கங்களில் உள்ள அனைத்து முறைகளையும் உள்ளடக்க முயற்சிக்கிறது, குறைந்த தரமான முறைகளுக்கும் கூட நிகழ்தகவை ஒதுக்குகிறது ("செல்வத்தைப் பரப்புதல்"). RL (குறிப்பாக KL கட்டுப்பாடுகளுடன் கூடிய கொள்கை உகப்பாக்கம், இதன் கணித வடிவம் தலைகீழ் KL வேறுபாட்டிற்கு (reverse KL divergence) ஒத்திருக்கிறது, RLHF பகுதியில் விரிவாக விளக்கப்படும்) முறை-தேடல் (mode-seeking) ஆகும்—இது அதிக வெகுமதி உள்ள சில முறைகளைக் கண்டுபிடித்து, அவற்றில் நிகழ்தகவைக் குவித்து, மற்றவற்றை உறுதியாக நிராகரிக்கிறது ("வெற்றியாளர் அனைத்தையும் எடுத்துக்கொள்கிறார்"). இதனால்தான் RL க்குப் பிறகு மாதிரிகள் மிகவும் "உறுதியானவை" மற்றும் உயர்தர உத்திகளில் கவனம் செலுத்துகின்றன, மேலும் RL பன்முகத்தன்மையை தியாகம் செய்வதற்கான காரணமும் இதுவே. நிறை-உள்ளடக்கும் மற்றும் முறை-தேடல் என்ற கருத்துகளை நினைவில் கொள்ளுங்கள்; KL வேறுபாடு பகுதி இவற்றைப் பயன்படுத்தி ஒரு வறண்டதாகத் தோன்றும் ஆனால் மிக முக்கியமான வடிவமைப்புத் தேர்வை விளக்கும்.

RL ஏன் SFT ஐ விட உயர்ந்த உச்சவரம்பைக் கொண்டுள்ளது? — ஏனெனில் அது "ஆன்லைன் (online)" ஆகும். இது SFT மற்றும் RL இடையேயான ஆழமான வேறுபாடு, மேலும் RL கூடுதல் செலவுக்கு மதிப்புள்ளது என்பதற்கான அடிப்படைக் காரணம். SFT ஒரு ஆஃப்லைன் (offline) முறை: இது ஒரு நிலையான நிரூபணத் தரவுத் தொகுப்பிலிருந்து மட்டுமே கற்றுக்கொள்ள முடியும், அந்தத் தரவுக்கு அப்பால் உலகத்தை ஒருபோதும் பார்க்க முடியாது. RL ஒரு ஆன்லைன் (online) முறை: இது மாதிரியை அதன் சொந்த பதில்களை உருவாக்க அனுமதிக்கிறது, பின்னர் கருத்தின் அடிப்படையில் மேம்படுத்துகிறது, முயற்சி மற்றும் பிழை மூலம் கற்றுக்கொள்கிறது. ("ஆன்லைன்/ஆஃப்லைன்" மற்றும் கடுமையான "கொள்கை-சார்ந்த/கொள்கை-சாராத" (on-policy/off-policy) என்ற சொற்கள் பிரிவு 7.8 இல் முறையாக வேறுபடுத்தப்படும்; இப்போது, நாம் உள்ளுணர்வை வளர்த்துக்கொள்கிறோம்.) "ஆன்லைனாக" இருப்பது மூன்று நன்மைகளைத் தருகிறது, அவை SFT ஆல் இயற்கையாகவே அடைய முடியாதவை, மேலும் இவை ஒன்றாக உச்சவரம்பை உயர்த்துகின்றன:

முதலாவதாக, ஆஃப்லைன் முறையின் உச்சவரம்பு தரவு; ஆன்லைன் முறையின் உச்சவரம்பு பணி. SFT-யின் உகந்த முடிவு, விளக்கங்களை "முழுமையாகப் பிரதிபலிப்பது" ஆகும்—எனவே அதன் உச்சவரம்பு விளக்குபவரின் நிலை; அது அந்த நிலையை அணுக முடியும், ஆனால் எப்போதும் அதை மீற முடியாது. 60 புள்ளிகள் கொண்ட ஆசிரியரால் லேபிளிடப்பட்ட தரவுத்தொகுப்பு, 90 புள்ளிகள் கொண்ட மாணவருக்குப் பயிற்சி அளிக்க முடியாது. RL விளக்கங்களைப் பார்க்காது, முடிவு வெகுமதிகளை மட்டுமே பார்க்கும்: எந்த நடத்தையும் அதிக வெகுமதியைத் தந்தால், அது வலுப்படுத்தப்படும், அதை யாரும் விளக்கியிராவிட்டாலும் கூட. எனவே, RL சுயாதீனமாக விளக்கங்களில் இல்லாத உயர்ந்த உத்திகளைக் கண்டறிய முடியும்—இந்த அத்தியாயத்தின் பின்னர் வரும் SimpleVLA சோதனை 7-13-இல், மாதிரியின் சுயமாக உருவாக்கிய "தள்ளு-வெட்டு" செயல் மனித விளக்கங்களில் ஒருபோதும் தோன்றவில்லை, இது "விளக்கங்களை மீறுவதற்கான" நேரடி சான்றாகும். RL-யின் உச்சவரம்பு பணியாலேயே தீர்மானிக்கப்படுகிறது (வெகுமதி என்ன அடையாளம் காண முடியும் என்பதால்), தரவில் இருப்பதால் அல்ல.
இரண்டாவதாக, "சரிபார்ப்பு" என்பது "உருவாக்கத்தை" விட எளிதானது—இதுவே RL உயர்ந்த நிலையை அடைய முடிவதற்கான அடிப்படைக் காரணம். SFT-க்கு ஒருவர் முதலில் சரியான பதிலை எழுதி ஒரு விளக்கமாகக் கொடுக்க வேண்டும்; RL-க்கு ஒரு பதில் நல்லதா என்பதை தீர்மானிக்க மட்டுமே முடியும் (வெகுமதி கொடுக்க). பல பணிகளில், "சரி தவறு எனத் தீர்ப்பது" என்பது "சரியான பதிலை எழுதுவதை" விட மிகவும் எளிதானது—கணிதப் பதில்களை விடைத்தாளுடன் சரிபார்க்கலாம், குறியீட்டைச் சோதனைகள் மூலம் இயக்கலாம், மற்றும் தேற்ற நிரூபிப்பாளர்கள் சரிபார்க்கலாம். "நல்லதை அடையாளம் காண்பது" "நல்லதை உருவாக்குவதை" விட எளிதாக இருக்கும் வரை, RL எந்தவொரு இருக்கும் விளக்குபவரையும் விட வலிமையான மாதிரியைப் பயிற்றுவிக்க முடியும்: மாதிரி சீரற்ற முறையில் முயற்சிக்கிறது, மேலும் சூழல் நல்லவற்றைத் தேர்ந்தெடுத்து அவற்றை வலுப்படுத்தும் பொறுப்பை ஏற்கிறது. இந்த "சரிபார்ப்பு-உருவாக்கம் சமச்சீரற்ற தன்மை" தான் RLVR போன்ற சரிபார்க்கக்கூடிய வெகுமதி முறைகளின் வலிமையின் மூலமாகும்.
மூன்றாவதாக, ஆன்லைனில் இருப்பது மாதிரியானது தான் நடக்கும் பாதையில் பயிற்சி செய்ய அனுமதிக்கிறது, தனது சொந்த தவறுகளிலிருந்து மீளக் கற்றுக்கொள்கிறது. ஆஃப்லைன் பின்பற்றுதலில் கோவேரியேட் ஷிப்ட் எனப்படும் ஒரு பாரம்பரிய சிக்கல் உள்ளது: மாணவர் தானாக நடக்கும்போது, அவர் விளக்கங்களிலிருந்து விலகி, தரவில் இல்லாத நிலைகளுக்குச் செல்கிறார், மேலும் இந்த நிலைகளிலிருந்து எவ்வாறு மீண்டும் பாதைக்குத் திரும்புவது என்பதை அவர் ஒருபோதும் கற்றுக்கொள்ளவில்லை, எனவே பாதையில் பிழைகள் குவிந்துவிடும் (கோட்பாட்டளவில், தூய பின்பற்றுதலின் பிழை பாதை நீளம் T-உடன் தோராயமாக $T^2$ ஆக வளர்கிறது, அதேசமயம் ஆன்லைன் தரவுடன் பயிற்சி அதை $T$ ஆகக் குறைக்க முடியும்). ஆன்லைன் முறைகள் இதற்கு நேர்மாறானவை—மாதிரி பயிற்சி பெறும் பரவல், அது பயன்படுத்தப்படும் பரவலுக்குச் சமமானதாகும், மேலும் ஒவ்வொரு பின்னூட்டப் படியும் அதன் தற்போதைய உண்மையான பலவீனங்களைத் துல்லியமாக இலக்காகக் கொள்கிறது; தரவு எப்போதும் "புதியதாக" இருக்கும், ஆஃப்லைன் தரவு வேறொருவரின் (ஆசிரியரின்) நடத்தையை விவரிப்பது போலல்லாமல், மாதிரி மேம்படும்போது பெருகிய முறையில் பொருத்தமற்றதாக மாறும். இந்த அத்தியாயத்தின் பின்னர் வரும் On-Policy Distillation (பிரிவு 7.12) மிகவும் வலிமையாக இருப்பதற்கான காரணம், அது இந்த "ஆன்லைன்" நன்மையை SFT-யின் "அடர்த்தியான மேற்பார்வை" நன்மையுடன் இணைப்பதாகும்.

ஒரு உவமையைப் பயன்படுத்துவதானால்: SFT என்பது வேறொருவர் வரைந்த வரைபடத்தைப் பின்தொடர்வது; அது அந்த வரைபடத்தைப் போலவே சிறப்பாக இருக்கும். RL என்பது கையில் ஒரு திசைகாட்டி (வெகுமதி) வைத்துக்கொண்டு, வரைபடத்திற்கு அப்பால் செல்லும் வாய்ப்புடன் ஆராய்வது. இதனால்தான் "முதலில் அடித்தளத்திற்கு SFT, பின்னர் உயரத்தை அடைய RL" என்பது முக்கிய நடைமுறையாக மாறியுள்ளது.

இந்தப் பெரிய படத்தை மனதில் வைத்துக்கொண்டு, ஒவ்வொரு அடுத்தடுத்த பகுதியையும் சூழலில் வைத்துப் புரிந்துகொள்ளலாம். அடுத்த இரண்டு பகுதிகள், [விருப்ப வாசிப்பு]—"கிளாசிக் RL ஏஜெண்டுகளிலிருந்து நவீன ஏஜெண்டுகள் வரை" மற்றும் "மாதிரி முன்-பயிற்சியின் அடித்தளங்கள்"—ஆழமாகச் செல்ல விரும்பும் வாசகர்களுக்கு வலுவூட்டல் கற்றல் மற்றும் முன்-பயிற்சி பற்றிய பின்னணியை வழங்குகின்றன. பின்-பயிற்சியுடன் மட்டும் தொடங்க விரும்பும் வாசகர்கள் அவற்றைத் தவிர்த்துவிட்டு, நேரடியாக SFT பகுதியுடன் தொடங்கலாம்.

கிளாசிக் RL ஏஜெண்டுகளிலிருந்து நவீன ஏஜெண்டுகள் வரை `[விருப்ப வாசிப்பு]`¶

ஏஜெண்ட்-சூழல் இடைவினை¶

வலுவூட்டல் கற்றல் (Reinforcement Learning - RL) என்பது அடிப்படையில், தற்போதைய சூழ்நிலையின் அடிப்படையில் செயல்களைத் தேர்ந்தெடுப்பதைக் கற்றுக்கொள்வதாகும், இது ஒட்டுமொத்த வெகுமதியை அதிகரிக்கச் செய்கிறது. சதுரங்கம் விளையாடக் கற்றுக் கொள்ளும் ஒரு AI-ஐ கற்பனை செய்யுங்கள்: ஒவ்வொரு நகர்வும் ஒரு செயல், வெற்றி நேர்மறை வெகுமதியை அளிக்கிறது, தோல்வி எதிர்மறை வெகுமதியை அளிக்கிறது, மேலும் ஒட்டுமொத்த வெகுமதி என்பது முழு விளையாட்டின் மொத்த ஆதாயமாகும். ஏஜெண்டும் சூழலும் தொடர்ந்து இடைவினை புரிகின்றன: ஒவ்வொரு படியிலும், ஏஜெண்ட் தற்போதைய நிலையைக் கவனிக்கிறது, ஒரு செயலைத் தேர்ந்தெடுக்கிறது, சூழல் ஒரு புதிய நிலையை உருவாக்கி ஒரு வெகுமதியை அளிக்கிறது.

இந்த இடைவினையை மேலும் உள்ளுணர்வுடன் புரிந்துகொள்ள, பின்வரும் வரைபடம் நிலையான RL சுழற்சியைக் காட்டுகிறது—ஒவ்வொரு நேரப் படியிலும், ஏஜெண்ட் சூழல் நிலையைக் கவனித்து, ஒரு செயலை வெளியிடுகிறது, மேலும் சூழல் ஒரு வெகுமதியை அளித்து அந்த செயலின் அடிப்படையில் ஒரு புதிய நிலைக்கு மாறுகிறது.

படம் 7-1: வலுவூட்டல் கற்றல் ஏஜெண்ட்-சூழல் இடைவினை சுழற்சி

இந்த இடைவினை ஒரு பாதையை (trajectory) உருவாக்குகிறது—"நிலை → செயல் → வெகுமதி → புதிய நிலை → செயல் → வெகுமதி..." என்பதன் முழுமையான பதிவு. ஒரு கொள்கையின் தரம் இறுதியில் பாதைகளின் தரத்தில் பிரதிபலிக்கிறது. ஒரு மதிப்புச் சார்பு (value function) பின்வரும் கேள்விக்கு பதிலளிக்கிறது: "நான் இப்போது இந்த நிலையில் இருந்து, தற்போதைய கொள்கையின்படி தொடர்ந்து செயல்பட்டால், இறுதியில் நான் எவ்வளவு மொத்த வெகுமதியைக் குவிப்பேன்?" இது ஒரு அனுபவம் வாய்ந்த சதுரங்க வீரர் ஒரு நிலையைப் பார்த்து, இறுதி வரை கணக்கிடாமல், வெற்றி வாய்ப்பை உள்ளுணர்வாக மதிப்பிடுவது போன்றது. ("தற்போதைய கொள்கை" "உகந்த கொள்கை"யால் மாற்றப்படும்போது, நாம் உகந்த மதிப்புச் சார்பைப் பெறுகிறோம், இது இந்த அத்தியாயத்தில் பின்னர் பெல்மேன் உகந்தநிலை சமன்பாட்டைப் பற்றி விவாதிக்கும்போது பயன்படுத்தப்படும்.) ஏஜெண்டுக்கும் சூழலுக்கும் இடையிலான எல்லை ஒரு எளிய கொள்கையைப் பின்பற்றுகிறது: ஏஜெண்டால் தன்னிச்சையாக மாற்ற முடியாத எதுவும் சூழலுக்குச் சொந்தமானது.

இரண்டு தனித்துவமான அம்சங்கள், மேற்பார்வை கற்றலில் (இது சரியான பதில்களைக் கொண்ட லேபிளிடப்பட்ட தரவு தேவை) மற்றும் மேற்பார்வையற்ற கற்றலில் (இது தரவுகளில் மறைந்திருக்கும் வடிவங்களைக் கண்டறிகிறது) இருந்து வலுவூட்டல் கற்றலை வேறுபடுத்துகின்றன: சோதனை-மற்றும்-பிழை தேடல் (ஏஜெண்ட் எந்த செயல்கள் நல்லவை என்பதை தானாகவே கண்டுபிடிக்க வேண்டும், ஆசிரியர் நேரடியாக சரியான பதிலை வழங்காமல்) மற்றும் தாமதமான வெகுமதி (ஒரு செயலின் விளைவு பல படிகள் கழித்து மட்டுமே தெளிவாகத் தெரியும், எ.கா., ஒரு நல்ல சதுரங்க நகர்வின் மதிப்பு விளையாட்டின் முடிவில் மட்டுமே தெரியும்). இது தனித்துவமான ஆய்வு-சுரண்டல் பரிமாற்றம் (exploration-exploitation tradeoff) ஐயும் கொண்டு வருகிறது: எப்போதும் பழக்கமான பாதைகளை எடுப்பது புதிதாக எதையும் கற்றுக்கொள்ளாமல் போக வைக்கும்; எப்போதும் சீரற்ற முறையில் முயற்சிப்பது இலக்கை அடைய முடியாமல் போக வைக்கும்.

ஒரு வலுவூட்டல் கற்றல் அமைப்பு ஐந்து முக்கிய கூறுகளைக் கொண்டுள்ளது:

செயல் இடம் (Action Space): ஏஜெண்ட் எடுக்கக்கூடிய அனைத்து சாத்தியமான செயல்களின் தொகுப்பை வரையறுக்கிறது. செயல்கள் தனித்தன்மையானதாக (discrete) இருக்கலாம் (எ.கா., சதுரங்கத்தில் "எந்த நகர்வை செய்வது", வரையறுக்கப்பட்ட விருப்பங்களுடன்) அல்லது தொடர்ச்சியானதாக (continuous) இருக்கலாம் (எ.கா., ஒரு ரோபோவிற்கு "ஒரு மூட்டை எத்தனை டிகிரி சுழற்றுவது", ஒரு தொடர்ச்சியான மதிப்பு).
கொள்கை (Policy): ஏஜெண்ட்டின் நடத்தை விதி, கொடுக்கப்பட்ட நிலையில் என்ன செய்ய வேண்டும் என்பதைக் குறிப்பிடுகிறது. ஒரு கொள்கை எளிமையானதாக (ஒரு தேடல் அட்டவணை: நிலை A இல், செயல் X ஐ செயல்படுத்து) அல்லது சிக்கலானதாக (ஒரு ஆழமான நரம்பியல் வலையமைப்பு) இருக்கலாம்.
வெகுமதி சமிக்ஞை (Reward Signal): சூழலில் இருந்து உடனடி பின்னூட்டம். இருப்பினும், ஏஜெண்ட்டின் குறிக்கோள் நீண்ட கால வெகுமதியை அதிகரிப்பதே ஆகும், உடனடி வெகுமதியை அல்ல—இந்த வேறுபாடு முக்கியமானது, முதலீட்டை இன்றைய ஆதாயங்கள் மற்றும் இழப்புகளால் அல்ல, மாறாக நீண்ட கால வருமானத்தால் மதிப்பிட வேண்டும் என்பதைப் போல.
மதிப்பு செயல்பாடு (Value Function): எதிர்காலத்தில் கொடுக்கப்பட்ட நிலையில் இருந்து பெறக்கூடிய மொத்த திரட்டப்பட்ட வெகுமதியை மதிப்பிடுகிறது, உடனடி பின்னூட்டம் இல்லாவிட்டாலும் ஏஜெண்ட் புத்திசாலித்தனமான முடிவுகளை எடுக்க உதவுகிறது. அறுபது ஆண்டுகால RL ஆராய்ச்சியின் மிக முக்கியமான நுண்ணறிவுகளில் ஒன்று மதிப்பு மதிப்பீட்டின் மையப் பங்கு ஆகும்.
சூழல் மாதிரி (Environment Model) (விருப்பமானது): செயல்களுக்கு சூழலின் பதிலைக் கணிக்கிறது. சூழல் மாதிரியைப் பயன்படுத்தும் முறைகள் மாதிரி அடிப்படையிலான முறைகள் (model-based methods) என்று அழைக்கப்படுகின்றன (முதலில் சூழல் எவ்வாறு மாறுகிறது என்பதைக் கணிக்க கற்றுக்கொண்டு, பின்னர் அதற்கேற்ப திட்டமிடுகின்றன); இல்லாதவை மாதிரி இல்லாத முறைகள் (model-free methods) என்று அழைக்கப்படுகின்றன (சூழலைக் கணிக்காமல், அனுபவத்திலிருந்து நேரடியாகக் கற்றுக்கொள்கின்றன).

அட்டவணை 7-3 பல்வேறு ஏஜெண்ட் அமைப்புகளின் முக்கிய கூறுகளை ஒப்பிடுகிறது, ஏஜெண்ட் கருத்தின் உலகளாவிய தன்மையை வெளிப்படுத்துகிறது மற்றும் பாரம்பரிய RL ஏஜெண்ட்களுக்கும் நவீன LLM ஏஜெண்ட்களுக்கும் இடையேயான செயல் இடங்களில் உள்ள வேறுபாட்டை வாசகர்கள் பார்க்க உதவுகிறது.

அட்டவணை 7-3 வெவ்வேறு ஏஜெண்ட் அமைப்புகளில் முக்கிய கூறுகளின் ஒப்பீடு

ஏஜெண்ட் வகை	சூழல்	செயல் இடம்	வெகுமதி சமிக்ஞை
புதிதாகப் பிறந்த மான்	நிலப்பரப்பு, ஈர்ப்பு, உடல் நிலை	தொடர்ச்சியான உயர்-பரிமாண (தசைக் குழு சுருக்கங்கள்)	சமநிலை (+), விழுதல் (-)
வெற்றிட ரோபோ	அறை அமைப்பு, பேட்டரி நிலை	தனித்தன்மையான (திசை, வெற்றிடம், சார்ஜ்)	சுத்தம் செய்யப்பட்ட பகுதி (+), பேட்டரி தீர்ந்தது (-)
சதுரங்க கிராண்ட்மாஸ்டர்	பலகை நிலை, நேர வரம்பு	தனித்தன்மையான வரையறுக்கப்பட்ட (சட்டப்பூர்வ நகர்வுகள்)	வெற்றி (+1), தோல்வி (-1)
வாடிக்கையாளர் சேவை ஏஜெண்ட்	உரையாடல் வரலாறு, அறிவுத் தளம்	திறந்த-முடிவு (சிந்தித்தல், பேசுதல், API அழைப்பு)	சிக்கல் தீர்க்கப்பட்டது (+), கையாளும் நேரம் (-)
குறியீடு உதவி ஏஜெண்ட்	தேவைகள் ஆவணம், குறியீட்டுத் தளம்	திறந்த-முடிவு (சிந்தித்தல், தேடுதல், திருத்துதல், செயல்படுத்துதல்)	சோதனை வெற்றி (+), பிழை அறிமுகம் (-)

இந்த அட்டவணை ஒரு முக்கியமான நுண்ணறிவை வெளிப்படுத்துகிறது: பாரம்பரிய RL ஏஜெண்டுகளின் (சதுரங்கம், ரோபாட்டிக்ஸ்) செயல் இடம் மூடியதாக உள்ளது, அதேசமயம் நவீன LLM அடிப்படையிலான ஏஜெண்டுகளின் (வாடிக்கையாளர் சேவை, குறியீடு உதவி) செயல் இடம் திறந்த-முடிவு மற்றும் கிட்டத்தட்ட வரம்பற்றதாக உள்ளது, மேலும் அவை "உள் சிந்தனை" என்ற சிறப்புச் செயலைப் பயன்படுத்தி தங்கள் திறன்களை மேம்படுத்த முடியும்.

இரண்டு ஏஜெண்ட் முன்னுதாரணங்கள்: MDP இலிருந்து LLM+RL வரை¶

மிக அடிப்படையான வேறுபாடு செயல் இடத்தில் உள்ளது—MDP ஆனது செயல் இடம் வரையறுக்கப்பட்டதாகவும் மூடியதாகவும் (மேல்/கீழ்/எடு/வை) இருப்பதாகக் கருதுகிறது, அதேசமயம் LLM இன் செயல் இடம் திறந்த-முடிவு கொண்டதாகவும், சேர்க்கை ரீதியாக வெடிக்கும் இயற்கை மொழி வரிசைகளைக் கொண்டதாகவும் உள்ளது. இந்த வேறுபாடு இரண்டு முன்னுதாரணங்களுக்கும் இடையே வழிமுறை வடிவமைப்பு, சாம்பிள் திறன் மற்றும் பொதுமைப்படுத்தல் திறன் ஆகியவற்றில் அடிப்படை வேறுபாட்டைத் தீர்மானிக்கிறது. அவை கீழே விளக்கப்பட்டுள்ளன.

பாரம்பரிய முன்னுதாரணம்: MDP மற்றும் Q-கற்றல்.

MDP (மார்க்கோவ் முடிவு செயல்முறை) என்பது வலுவூட்டல் கற்றலுக்கான கணித கட்டமைப்பாகும், இது நிலைகள், செயல்கள் மற்றும் வெகுமதிகள் போன்ற முக்கிய கூறுகளை வரையறுக்கிறது. இதன் மைய அனுமானம் மார்க்கோவ் பண்பு ஆகும்: எதிர்காலம் தற்போதைய நிலையை மட்டுமே சார்ந்துள்ளது, முந்தைய வரலாற்றை அல்ல. உதாரணமாக, சதுரங்கத்தில், தற்போதைய பலகை நிலையை மட்டும் பார்த்தால் உகந்த நகர்வைத் தீர்மானிக்க போதுமானது; ஒவ்வொரு முந்தைய நகர்வையும் மதிப்பாய்வு செய்ய வேண்டிய அவசியமில்லை. இந்த அனுமானம் சிக்கலை எளிதாக்குகிறது, ஆனால் வரலாற்று சார்புகளை மாதிரியாக்கும் திறனையும் கட்டுப்படுத்துகிறது.

படம் 7-2: மார்க்கோவ் முடிவு செயல்முறை (MDP) வரைபடம்

ஒரு பாரம்பரிய RL ஏஜெண்டின் முக்கிய அம்சம் மூடிய செயல் இடம் ஆகும்—ஏஜெண்ட் எடுக்கக்கூடிய அனைத்து சாத்தியமான செயல்களும் முன் வரையறுக்கப்பட்ட, வரையறுக்கப்பட்ட தொகுப்பை உருவாக்குகின்றன. கிளாசிக் பலகை விளையாட்டு ஏஜெண்டுகள் மிகவும் பொதுவான உதாரணம்: கோ (Go) விளையாட்டில் உள்ள 361 சாத்தியமான நகர்வு நிலைகள், மிகப்பெரியதாக இருந்தாலும், முற்றிலும் தீர்மானிக்கப்பட்டவை மற்றும் வரையறுக்கப்பட்டவை; சதுரங்கம், காய்களின் வெவ்வேறு நகர்வு விதிகளைக் கருத்தில் கொண்டு, இன்னும் எண்ணக்கூடிய செயல்களைக் கொண்டுள்ளது; அடாரி விளையாட்டுகள் சில முதல் ஒரு டஜன் வரையிலான தனித்துவமான செயல்களை மட்டுமே கொண்டுள்ளன. ரோபாட்டிக் ஏஜெண்டுகள் தொடர்ச்சியான ஆனால் எல்லைக்குட்பட்ட செயல் இடத்தை பிரதிநிதித்துவப்படுத்துகின்றன: மூட்டு கோணங்கள், வேகங்கள் மற்றும் பிடிப்பு விசைகள் தொடர்ச்சியான மதிப்புகள், ஆனால் அனைத்தும் தெளிவான இயற்பியல் எல்லைகளைக் கொண்டுள்ளன (அதிகபட்ச சுழற்சி கோணம், அதிகபட்ச முறுக்கு விசை, வேக வரம்புகள்), பரிமாணங்கள் ரோபோவின் சுதந்திர அளவுகளால் தீர்மானிக்கப்படுகின்றன.

இந்த மூடிய தன்மை கணக்கீட்டு நன்மைகளைத் தருகிறது: அனைத்து செயல்களையும் ஒவ்வொன்றாக எண்ணி மதிப்பீடு செய்ய முடியும், இது இயக்கவியல் நிரலாக்கம் மற்றும் மான்டே கார்லோ மர தேடலை எளிதாக்குகிறது, மேலும் செயல்-மதிப்பு செயல்பாட்டை அட்டவணைகள் அல்லது எளிய செயல்பாடுகளைப் பயன்படுத்தி தோராயமாக மதிப்பிட முடியும். இருப்பினும், இது வெளிப்பாட்டுத்தன்மை மற்றும் பொதுமைப்படுத்தலைக் கட்டுப்படுத்துகிறது. பாரம்பரிய RL ஏஜெண்டுகள் புதிதாகத் தொடங்குகின்றனர், முழுக்க முழுக்க சோதனை மற்றும் பிழை மூலம் கற்றுக்கொள்கின்றனர்—சீரற்ற கொள்கையிலிருந்து தொடங்கி, அனுபவத்தை சேகரித்து, மதிப்பு செயல்பாடு அல்லது கொள்கையைப் புதுப்பித்து, ஒருங்கிணைக்கும் வரை மீண்டும் மீண்டும் செய்கின்றனர்.

இந்த கட்டமைப்பில், மிகவும் அடிப்படையான மற்றும் முக்கியமான வழிமுறைகளில் ஒன்று Q-கற்றல் (Q-learning) ஆகும். இது ஒவ்வொரு "நிலை-செயல்" (state-action) இணைக்கும் ஒரு மதிப்பு மதிப்பீட்டைப் பராமரிக்கிறது: நீங்கள் s நிலையில் a செயலைச் செய்து, அதன் பிறகு உகந்த முறையில் செயல்பட்டால், மொத்தமாக எவ்வளவு வெகுமதியை எதிர்பார்க்கலாம்? உள்ளுணர்வாக, ஒரு செயல் நல்லதா என்பது அது கொண்டு வரும் உடனடி வெகுமதியைப் பொறுத்தது, மேலும் "அது வழிநடத்தும் அடுத்த நிலை எவ்வளவு நல்லது" என்பதையும் பொறுத்தது.

இந்த உள்ளுணர்வை ஒரு சமன்பாடாக எழுதுவது, RL பாடப்புத்தகங்களில் புகழ்பெற்ற பெல்மேன் சமன்பாட்டின் (Bellman equation) மைய தொடர்பு உறவை அளிக்கிறது: ஒரு செயலின் உண்மையான மதிப்பு = இந்த படியில் பெறப்பட்ட உடனடி வெகுமதி + அடுத்த நிலையிலிருந்து பெறக்கூடிய அதிகபட்ச எதிர்கால மதிப்பு:

\[Q^*(s, a) = r + \gamma \max_{a'} Q^*(s', a')\]

இங்கு $r$ என்பது உடனடி வெகுமதி, $s'$ என்பது செயலைச் செயல்படுத்திய பிறகு அடையும் அடுத்த நிலை (உள்ளுணர்வுக்காக தீர்மானகரமான வடிவத்தில் எழுதப்பட்டுள்ளது; சீரற்ற சூழலில், அடுத்த நிலை $s'$ மீதான எதிர்பார்ப்பு தேவை), மற்றும் $\gamma \in [0, 1)$ என்பது தள்ளுபடி காரணி (discount factor) ஆகும்—இது ஏஜெண்ட் (Agent) எதிர்காலத்தை எவ்வளவு மதிக்கிறது என்பதை தீர்மானிக்கிறது: $\gamma$ 1-க்கு நெருக்கமாக இருந்தால், நீண்ட கால வருமானத்தை அதிகம் மதிக்கிறது; 0-க்கு நெருக்கமாக இருந்தால், உடனடி விளைவுகளில் அதிக கவனம் செலுத்துகிறது. முன்னர் மீண்டும் மீண்டும் குறிப்பிடப்பட்ட "ஒட்டுமொத்த வெகுமதி" (cumulative reward) என்பது, ஒவ்வொரு படியிலும் கிடைக்கும் வெகுமதிகளின் கூட்டுத்தொகையாகும், இது $\gamma$ ஆல் தள்ளுபடி செய்யப்படுகிறது: $\sum_{t} \gamma^{t} r_t$. ஒவ்வொரு செயலுக்குப் பிறகும், வழிமுறை பழைய மதிப்பீட்டை "உண்மையில் கவனிக்கப்பட்ட விளைவை" நோக்கி சிறிது சரிசெய்கிறது—"ஒரு-படி உண்மையான முடிவுடன் பழைய மதிப்பீட்டை சரிசெய்யும்" இந்த முன்னுதாரணம் தற்காலிக-வேறுபாடு கற்றல் (Temporal-Difference Learning, TD learning) என்று அழைக்கப்படுகிறது. ஆயிரக்கணக்கான சோதனைகளுக்குப் பிறகு, மதிப்பீடு படிப்படியாக உண்மையான மதிப்பை நெருங்குகிறது.

பின்வரும் இரண்டு படங்கள், ஒரு கட்ட உலகில் (grid world) Q-கற்றலின் ஆய்வு செயல்முறையையும், Q-மதிப்புகளின் படிப்படியான ஒருங்கிணைப்பையும் காட்டுகின்றன.

படம் 7-3: Q-கற்றல் கட்ட உலகம்

படம் 7-4: Q-மதிப்பு புதுப்பிப்பு காட்சிப்படுத்தல்

Q-கற்றல் என்பது கொள்கைக்கு வெளியே (off-policy) முறையின் ஒரு குறிப்பிட்ட வகையாகும்—இது எந்த கொள்கையாலும் (சீரற்ற ஆய்வு உட்பட) உருவாக்கப்பட்ட தரவைப் பயன்படுத்தி உகந்த கொள்கையைக் கற்றுக்கொள்ள முடியும். கொள்கைக்கு உட்பட்ட/வெளியே (on-policy/off-policy) என்பதன் கடுமையான வரையறைகள் மற்றும் LLM பிந்தைய-பயிற்சியில் (post-training) அவற்றின் தொடர்பு ஆகியவை பின்னர் "வலுவூட்டல் கற்றல் வழிமுறைகளின் ஒப்பீடு" பகுதியில் விவாதிக்கப்படுகின்றன.

சோதனை 7-1 ★: பொக்கிஷ வேட்டை விளையாட்டில் Q-கற்றலின் செயல்திறன்

Q-கற்றலின் பண்புகள் மற்றும் வரம்புகளை சரிபார்க்க, நாங்கள் ஒரு பொக்கிஷ வேட்டை விளையாட்டு சூழலை (treasure hunt game environment) வடிவமைத்தோம். இந்த சூழல் பல முக்கிய சவால்களை உள்ளடக்கியது: மறைக்கப்பட்ட வழிமுறைகள் (hidden mechanisms) ஏஜெண்ட் சாவிகள் மற்றும் கதவுகளுக்கு இடையேயான தொடர்பு, ஆயுத விளைவுகள் மற்றும் பொருள் உருவாக்க விதிகள் ஆகியவற்றை சொந்தமாக கண்டறிய வேண்டும்; பல-படி சார்புகள் (multi-step dependencies) பணியை முடிக்க சரியான செயல் வரிசை தேவைப்படுகிறது (உகந்த தீர்வு: 11 படிகள்); அரிதான வெகுமதிகள் (sparse rewards) முக்கிய செயல்கள் மற்றும் இறுதி வெற்றி மட்டுமே குறிப்பிடத்தக்க வெகுமதிகளை அளிக்கின்றன, பெரும்பாலான இடைநிலை படிகள் எந்த பின்னூட்டத்தையும் பெறுவதில்லை.

Q-கற்றல் ஏஜெண்ட் நிலையான அளவுரு உள்ளமைவுகளையும் ε-பேராசை தேடல் உத்தியையும் (பெரும்பாலும் தற்போதைய சிறந்த செயலைத் தேர்ந்தெடுப்பது, எப்போதாவது சீரற்ற முறையில் முயற்சிப்பது, பயிற்சி முன்னேறும்போது சீரற்ற தேடலின் விகிதத்தை படிப்படியாகக் குறைப்பது) பயன்படுத்துகிறது.

கற்றல் வளைவு பொதுவான பண்புகளைக் காட்டுகிறது (ஒரு எபிசோட் என்பது ஒரு முழுமையான விளையாட்டு, தொடக்கத்திலிருந்து முடிவு அல்லது தோல்வி வரை): - முதல் 1000 எபிசோட்கள்: 0% வெற்றி விகிதம், Q-அட்டவணையில் 124 நிலைகள் மட்டுமே உள்ளன, ஏஜெண்ட் கண்மூடித்தனமாக ஆராய்கிறது - முதல் 5000 எபிசோட்கள்: இன்னும் நிலையான வெற்றிகள் இல்லை, Q-அட்டவணையில் 133 நிலைகள் உள்ளன - 7000-8000 எபிசோட்கள்: வெற்றி விகிதம் படிப்படியாக 34% இலிருந்து 96% ஆக உயர்கிறது - 10000 எபிசோட்கள்: 100% வெற்றி விகிதம், Q-அட்டவணையில் 145 நிலைகள் உள்ளன, 11-படி உகந்த தீர்வு கண்டுபிடிக்கப்பட்டது

முழு பயிற்சியும் 10 வினாடிகளுக்கும் குறைவாகவே எடுக்கும் (மிகவும் திறமையான உருவகப்படுத்துதல்), ஆனால் கிட்டத்தட்ட 10,000 முழுமையான முயற்சிகள் தேவைப்படுகின்றன. இது Q-கற்றலின் முக்கிய பண்பை நிரூபிக்கிறது: முழு பாதையையும் தற்செயலாக நிறைவு செய்ய அதிக அளவிலான சீரற்ற ஆய்வு தேவைப்படுகிறது, மேலும் மதிப்பு சமிக்ஞைகளின் பரப்புதல் மிகவும் மெதுவாக உள்ளது, மீண்டும் மீண்டும் வலுப்படுத்துதல் தேவைப்படுகிறது. முன் அறிவு இல்லாத தூய குறியீட்டு கற்றல், நிலை இடத்தை சக்தி மூலம் மட்டுமே தேட முடியும்.

ஒரு விளையாட்டு உருவகப்படுத்தியில், 10,000 சோதனைகள் 10 வினாடிகள் மட்டுமே எடுக்கும், இது ஒரு அற்ப செலவு. ஆனால் நிஜ உலக ஏஜெண்ட் காட்சிகளில்—ஒவ்வொரு தொலைபேசி அழைப்புக்கும் செலவு உள்ளது, ஒவ்வொரு உலாவி செயல்பாட்டிற்கும் தாமதம் உள்ளது, மற்றும் ஒவ்வொரு தவறான முடிவும் மாற்ற முடியாத விளைவுகளை ஏற்படுத்தும்—10,000 சோதனைகள் முற்றிலும் ஏற்றுக்கொள்ள முடியாதவை. நவீன ஏஜெண்டுகள் LLM-அடிப்படையிலான முறைகளுக்கு திரும்பியதற்கு இதுவே சரியான காரணம்: முன் பயிற்சியின் போது திரட்டப்பட்ட அறிவைப் பயன்படுத்தி, குறைந்தபட்ச தொடர்புகளுடன் பயனுள்ள முடிவுகளை எடுப்பது.

MDP-யின் அடிப்படை வரம்புகள் மூன்று: குறைந்த சாம்பிள் திறன் (எளிய பணிகளைக் கற்க அதிக அளவிலான தொடர்பு தேவை), மோசமான பொதுமைப்படுத்தல் (ஒரு சூழலில் கற்ற அறிவை மற்றொரு சூழலுக்கு மாற்றுவது கடினம்), மற்றும் முன் அறிவைப் பயன்படுத்த இயலாமை (ஒவ்வொரு புதிய பணியும் புதிதாக கற்கப்பட வேண்டும்). இயற்கை மொழி அல்லது உயர் பரிமாண காட்சி போன்ற சிக்கலான நிலை இடங்களை எதிர்கொள்ளும்போது இந்த வரம்புகள் குறிப்பாக உச்சரிக்கப்படுகின்றன.

நவீன முன்னுதாரணம்: LLM+RL-அடிப்படையிலான ஏஜெண்டுகள்.

பெரிய மொழி மாதிரிகள் ஏஜெண்டுகளுக்கு ஒரு புதிய முன்னுதாரணத்தை கொண்டு வந்துள்ளன, ஏஜெண்டுகள் எவ்வாறு கட்டமைக்கப்படுகிறார்கள் என்பதை அடிப்படையாக மாற்றுகின்றன—குறிப்பாக செயல் இடத்தின் வடிவமைப்பில்.

பாரம்பரிய RL-இல், ஒரு ஏஜெண்ட் சூழலை மாற்றுவதன் மூலம் மட்டுமே கருத்தைப் பெற முடியும்: சதுரங்கத்தில் ஒரு நகர்வு செய்வது, புதிரில் ஒரு அடி எடுத்து வைப்பது. ஆனால் LLM-கள் முற்றிலும் புதிய வகை செயலை அறிமுகப்படுத்துகின்றன: உள் சிந்தனை. சிந்தனை வெளி உலகத்தை மாற்றாது, ஆனால் அது இறுதி செயலின் தரத்தை கணிசமாக மேம்படுத்த முடியும். இந்த மாற்றம் எல்லாவற்றையும் மாற்றுகிறது: ஏஜெண்டின் செயல் இடம் இனி "என்ன செய்வது" மட்டுமல்ல, "எவ்வளவு நேரம் சிந்திப்பது மற்றும் எதைப் பற்றி சிந்திப்பது" என்பதையும் உள்ளடக்கியது.

மிக முக்கியமான புதுமை என்னவென்றால், சிந்தனையை ஒரு சிறப்புச் செயலாக (Thinking as a special action) செயல் இடத்தில் (action space) இணைப்பதாகும். பாரம்பரிய வலுவூட்டல் கற்றலில் (RL), ஏஜெண்டுகள் (agents) சூழலின் நிலையை மாற்றும் வெளிப்புறச் செயல்களை மட்டுமே செய்ய முடியும் (நகர்த்துதல், தாக்குதல், எடுத்தல்); LLM ஏஜெண்டுகளில், உள் சிந்தனை செயல் இடத்தின் மைய அங்கமாகிறது—இது நேரடியாக வெளிப்புறச் சூழலை மாற்றாது, உடனடி வெகுமதி (reward) இல்லை, எண்ணிக்கையில் கிட்டத்தட்ட வரம்பற்றது, மற்றும் ஒப்பீட்டளவில் குறைந்த செலவு கொண்டது.

பாரம்பரிய RL இந்த வகைச் செயலுடன் போராடுகிறது, அடிப்படையில் ஆய்வு இடம் (exploration space) மிகப் பெரியதாகவும், கட்டமைப்பு இல்லாமலும் இருப்பதால்: புதிதாகக் கற்றுக்கொள்ளும் ஒரு ஏஜெண்ட், கண்மூடித்தனமாக பாலைவனத்தில் புதையலைத் தேடுவது போன்றது, சீரற்ற முறையில் தடுமாறி மட்டுமே முடியும். LLM கள் வேறுபட்டவை. பரந்த உரை முன்-பயிற்சி (pre-training) மூலம், அவை மனித சிந்தனையின் விதிகளை உள்வாங்கியுள்ளன: கணிதப் பிரச்சினைகளைத் தீர்ப்பது "நிபந்தனைகளை அடையாளம் காணுதல் → சூத்திரங்களை நினைவுபடுத்துதல் → படிப்படியாகக் கணக்கிடுதல்" என்பதைப் பின்பற்றுகிறது, குறியீடு எழுதுதல் "தேவைகளைப் புரிந்துகொள்ளுதல் → கட்டமைப்பை வடிவமைத்தல் → விவரங்களைச் செயல்படுத்துதல்" என்பதைப் பின்பற்றுகிறது. இது LLM சிந்தனையை கட்டமைக்கப்பட்ட பாதைகளில் தொடர அனுமதிக்கிறது, தேடல் இடத்தை (search space) வெகுவாகச் சுருக்குகிறது. எனவே, கூடுதல் RL பயிற்சி இல்லாமலேயே, முன்-பயிற்சி பெற்ற LLM ஒரு அடிப்படை தர்க்கரீதியான சிந்தனைச் சங்கிலியை (Chain of Thought - CoT) உருவாக்க முடியும். இந்த அடிப்படை தர்க்கம் முன்-பயிற்சி தொகுப்பில் (pre-training corpus) உள்ள மனித சிந்தனை செயல்முறைகளின் (கணிதப் பிரச்சினை தீர்வுகள், குறியீடு கருத்துகள், விவாத பதில்கள் போன்றவை) பரந்த அளவிலிருந்து வருகிறது. அடுத்த-டோக்கன் கணிப்பு (next-token prediction) மூலம், மாதிரியானது "அடுத்த பகுத்தறிவு படி எப்படி இருக்க வேண்டும்" என்பதை மறைமுகமாகக் கற்றுக்கொள்கிறது.

RL பின்-பயிற்சி (post-training) பின்னர் வெளிப்புற வெகுமதிகளைப் பயன்படுத்தி, குறிப்பிட்ட பணிகளுக்கு இந்த விதிகளை மிகவும் திறமையாகப் பயன்படுத்த LLM க்கு கற்றுக்கொடுக்கிறது. மொழியின் கட்டமைப்பும் ஒரு மறைமுகமான உள் வெகுமதியை வழங்குகிறது—தர்க்கரீதியாக ஒத்திசைந்த சிந்தனைச் சங்கிலி (எ.கா., "வெளிநாட்டு நாணயத்தை USD ஆக மாற்ற வேண்டும் என்பதால், முதல் படி மாற்று விகிதத்தைப் பார்ப்பது") அதிக உருவாக்க நிகழ்தகவைக் கொண்டுள்ளது, அதேசமயம் தர்க்கரீதியாக குழப்பமான ஒன்று (எ.கா., "நாணயத்தை மாற்ற வேண்டும் என்பதால், முதலில் வானிலையைச் சரிபார்ப்போம்") மிகக் குறைந்த நிகழ்தகவைக் கொண்டுள்ளது, இயற்கையாகவே மாதிரியை நியாயமான பாதைகளை நோக்கி வழிநடத்துகிறது.

படம் 7-5: கிளாசிக் RL மற்றும் நவீன LLM ஏஜெண்டின் ஒப்பீடு

இந்த சிந்தனைத் திறன், மொழியின் உள்ளார்ந்த விதிகளை அடிப்படையாகக் கொண்டு, LLM ஏஜெண்டுகள் முன்பு பார்த்திராத வழிமுறைகளைப் புரிந்துகொள்ளவும் (zero-shot generalization) மற்றும் மிகக் குறைந்த எடுத்துக்காட்டுகளுடன் புதிய பணிகளைக் கைவரப் பெறவும் (few-shot adaptation) உதவுகிறது—இது விரிவான சோதனை மற்றும் பிழை தேவைப்படும் பாரம்பரிய MDP ஏஜெண்ட் முன்னுதாரணத்திற்கு முற்றிலும் மாறானது. மேலும், புதிய முன்னுதாரணம், கலவை பொதுமைப்படுத்தல் (compositional generalization—தெரிந்த கருத்துகளை மறுசேர்க்கை செய்து புதிய சூழ்நிலைகளைக் கையாளுதல்), சூழல்-உள்ள கற்றல் (in-context learning—prompts மற்றும் எடுத்துக்காட்டுகள் மூலம் விரைவான தழுவல்), மற்றும் பல்முறை புரிதல் (multimodal understanding—பார்வை, மொழி, செயல் போன்ற முறைகளை இயற்கையாக ஒருங்கிணைத்தல்) போன்ற திறன்களையும் கொண்டுள்ளது. சூழல்-உள்ள கற்றலின் (zero-shot generalization, few-shot adaptation) செயல்திறனும் அதன் உள் வழிமுறையும் இரண்டு வெவ்வேறு விஷயங்கள் என்பதைக் கவனத்தில் கொள்ள வேண்டும்—அத்தியாயம் 2 இல் பகுப்பாய்வு செய்யப்பட்டுள்ளபடி, கவன வழிமுறை (attention mechanism) பகுத்தறிவை விட மீட்டெடுப்பு (retrieval) போலவே செயல்படுகிறது, ஆனால் இது பணி தழுவலில் அதன் சக்திவாய்ந்த நடைமுறை விளைவுகளைத் தடுக்கவில்லை.

மூடிய செயல் இடத்திலிருந்து திறந்த செயல் இடத்திற்கான பரிணாமம், AI ஏஜெண்ட் முன்னுதாரணத்தில் ஒரு அடிப்படை மாற்றத்தை பிரதிபலிக்கிறது. உள் சிந்தனைக்கு அப்பால், கருவி அளவுருக்களின் பன்முகத்தன்மை (இயற்கை மொழி வினவல்கள், நிரல் குறியீடு, சிக்கலான JSON, பல்முறை உள்ளடக்கம்) உண்மையான செயல் இடத்தை கிட்டத்தட்ட எல்லையற்றதாக ஆக்குகிறது—ஒரு குறியீடு மொழிபெயர்ப்பாளர் (code interpreter) கோட்பாட்டளவில் எந்த கணக்கிடக்கூடிய பணியையும் செயல்படுத்த முடியும், மேலும் ஒரு தேடல் கருவி இணையத்தின் முழு தகவல் இடத்தையும் ஆராய முடியும். இது புதிய வாய்ப்புகளையும் (ஏஜெண்டுகள் முன்பின் இல்லாத பணிகளைக் கையாளலாம், அடிப்படை கருவிகளை இணைத்து சிக்கலான பிரச்சினைகளைத் தீர்க்கலாம்) மற்றும் புதிய சவால்களையும் (திறந்த சூழலில் வெகுமதி செயல்பாடுகளை எவ்வாறு வரையறுப்பது மற்றும் மேம்படுத்துவது, எல்லையற்ற செயல் இடத்தில் எவ்வாறு திறமையாக தேடுவது) கொண்டு வருகிறது.

கருவி அழைப்பு மற்றும் நீண்ட சங்கிலி சிந்தனைக்காக உகந்ததாக்கப்பட்ட Kimi K3 போன்ற மாதிரிகளை உதாரணமாக எடுத்துக் கொண்டால், LLM+RL முன்னுதாரணத்தின் பொதுவான திசையை நாம் காணலாம்: பெரிய அளவிலான மொழி முன்-பயிற்சியின் அடிப்படையில், பின்-பயிற்சி (post-training) பிரச்சினை சிதைவு, கருவி அழைப்பு மற்றும் சுய-திருத்தம் ஆகியவற்றில் திறன்களை வலுப்படுத்துகிறது. OpenVLA (அத்தியாயம் 9 இல் விரிவாக விளக்கப்பட்டுள்ளது) LLM சகாப்தத்தின் VLA (Vision-Language-Action) கட்டமைப்பு முன்னுதாரணத்தை வெளிப்படுத்துகிறது: ஒரு பார்வை குறியாக்கி (vision encoder) சூழல் அவதானிப்புகளை செயலாக்குகிறது, ஒரு மொழி மாதிரி வழிமுறைகளைப் புரிந்துகொண்டு பகுத்தறிகிறது, மேலும் ஒரு செயல் குறிவிலக்கி (action decoder) கட்டுப்பாட்டு சமிக்ஞைகளை உருவாக்குகிறது, இது மொழி-நிபந்தனை கட்டுப்பாடு மற்றும் குறுக்கு-பணி பொதுமைப்படுத்தலை செயல்படுத்துகிறது. OpenVLA ஆனது கிட்டத்தட்ட ஒரு மில்லியன் ரோபோ செயல் விளக்கப் பாதைகள் (demonstration trajectories) மூலம் பின்பற்றல் கற்றல் (behavioral cloning) மூலம் பயிற்றுவிக்கப்பட்டது என்பதை தெளிவுபடுத்த வேண்டும், இது இயற்கையில் SFT ஆகும், RL அல்ல; இத்தகைய VLA கட்டமைப்புகளின் மேல் வெகுமதிகளைப் பயன்படுத்தி மேலும் மேம்படுத்துவதற்காக RL ஐ ரோபாட்டிக்ஸில் அறிமுகப்படுத்தும் உண்மையான பிரதிநிதி, இந்த அத்தியாயத்தின் பிற்பகுதியில் உள்ள சோதனை 7-13 இல் உள்ள SimpleVLA-RL ஆகும்.

படம் 7-6: OpenAI பயிற்சி முன்னுதாரணங்களின் பரிணாமம்

OpenAI இன் ஆய்வுப் பாதை (Shunyu Yao, பிரின்ஸ்டன் பல்கலைக்கழக உதவிப் பேராசிரியர் மற்றும் ReAct கட்டுரையின் ஆசிரியர், "The Second Half" இல் விளக்கியுள்ளபடி) ஒரு அறிவாற்றல் பரிணாமத்தை வெளிப்படுத்துகிறது. கட்டம் 1 (2015-2016) வழிமுறை-மையம்: சிறந்த வழிமுறைகளே முக்கியம் என்று நம்பப்பட்டது, Atari போன்ற நிலையான சூழல்களில் முன்னேற்றம் ஏற்பட்டது, ஆனால் ஒவ்வொரு புதிய சூழலுக்கும் புதிதாகப் பயிற்சி அளிக்க வேண்டியிருந்தது. கட்டம் 2 (2016-2018) சூழலின் முக்கியத்துவம்: Gym பல்வேறு பணிகளைத் தரப்படுத்தியது, Universe மற்றும் World of Bits ஆகியவை முழு இணையத்தையும் ஒரு RL பயிற்சி சூழலாக மாற்ற முயன்றன, Dota 2 குறிப்பிட்ட சிக்கலான சூழல்களில் மனிதனை மிஞ்சும் செயல்திறனை நோக்கமாகக் கொண்டது. யோசனை தெளிவாக இருந்தது, ஆனால் பொதுவான கணினி பயன்பாடு மற்றும் வலை உலாவல் ஆகியவை உடைக்க முடியாத தடைகளாகவே இருந்தன.

கட்டம் 3 (2018-தற்போது) முன்னறிவுகளின் விழிப்புணர்வு: GPT-2/GPT-3 மொழி முன்-பயிற்சியின் சக்தியை நிரூபித்தன, WebGPT மற்றும் ChatGPT இந்த முன்னறிவுகளை நடைமுறை ஏஜெண்டுகளாக மாற்ற முடியும் என்பதை நிரூபித்தன. மிக முக்கியமான கண்டுபிடிப்பு: முன்னறிவுகளை RL உடன் முற்றிலும் தொடர்பில்லாத வழிகளில் பெற முடியும். இது ஒரு உள்ளுணர்வுக்கு முரணான உண்மை: பல தசாப்தங்களாக, RL ஆராய்ச்சியாளர்களின் முன்னுரிமைகள் முற்றிலும் தலைகீழாக இருந்திருக்கலாம்—இது வழிமுறை > சூழல் > முன்னறிவு அல்ல, மாறாக முன்னறிவு > சூழல் > வழிமுறை.

சோதனை 7-2 ★★: பாரம்பரிய RL மற்றும் LLM ஏஜெண்டின் ஒப்பீட்டு ஆய்வு

ஒரே பொக்கிஷ வேட்டை விளையாட்டில் Q-கற்றல் மற்றும் ஒரு LLM ஏஜெண்டை (Kimi K3, அதிகபட்சம் 50 அனுபவங்களின் இடையகத்தைப் பராமரிக்கிறது) ஒப்பிடுக. முடிவுகள் வியக்க வைக்கின்றன: LLM ஏஜெண்ட் தனது முதல் முயற்சியிலேயே 18 படிகளில் விளையாட்டை நிறைவு செய்தது.

ஆரம்ப நிலை (நோக்கமுள்ள ஆய்வு): துருப்பிடித்த வாளை எடுக்கிறது ("ஆயுதம் வெறும் கைகளை விட சிறந்தது"), வரைபடத்தை முறையாக ஆராய்கிறது, வடக்கு வாயில் பூட்டப்பட்டிருப்பதைக் கண்டுபிடித்த பிறகு "ஒரு சாவியைக் கண்டுபிடிக்க வேண்டும்" என்று ஊகிக்கிறது, சேமிப்பு அறையை ஆராய்கிறது, சிவப்பு சாவி மற்றும் மந்திர படிகத்தைப் பெறுகிறது. இடைநிலை (வழிமுறை புரிதல் மற்றும் செயலூக்கமான தொகுப்பு): "சாவி தானாகப் பயன்படுத்தப்படும்" விதியைப் புரிந்துகொண்டு, காவலருக்கு எதிராக துருப்பிடித்த வாள் போதாது என்று எதிர்பார்த்து, 8வது படியில் செயலூக்கமாக ஒரு வெள்ளி வாளை உருவாக்குகிறது. இறுதி நிலை (செயலாக்கம் மற்றும் பிழை திருத்தம்): வெள்ளி வாளுடன் வடக்கு நோக்கிச் சென்று, 13வது படியில் வலிமையான காவலரைத் தோற்கடிக்கிறது, இடையில் ஒன்று அல்லது இரண்டு பயனற்ற முயற்சிகள் (மீண்டும் மீண்டும் வாளை வீசுதல்/பின்னோக்கிச் செல்லுதல்) இருந்தன, இறுதியாக 18வது படியில் டிராகன் பொக்கிஷத்தைப் பெறுகிறது.

இது சொற்பொருள் புரிதலுக்கும் குறியீட்டு வரைபடத்திற்கும் இடையிலான அடிப்படை வேறுபாட்டை நிரூபிக்கிறது. LLM ஏஜெண்ட் விளையாட்டின் கருத்தியல் கட்டமைப்பைப் புரிந்துகொண்டது; ஒவ்வொரு படிக்கும் ஒரு நோக்கம் மற்றும் தர்க்கரீதியான ஆதரவு இருந்தது. Q-கற்றலுக்கு, "கதவு," "சாவி," மற்றும் "வாள்" ஆகியவை அர்த்தமற்ற குறியீட்டு சேர்க்கைகள் மட்டுமே, மேலும் அது விரிவான புள்ளியியல் கற்றல் மூலம் மட்டுமே அவற்றின் உறவுகளை மெதுவாகக் கண்டறிய முடியும்.

கணக்கீட்டுச் செலவு ஒரு சுவாரஸ்யமான முரண்பாட்டை முன்வைக்கிறது: Q-கற்றல் 10 வினாடிகளில் 10,000 விளையாட்டுகளை இயக்குகிறது, அதேசமயம் LLM ஏஜெண்ட் ஒரு விளையாட்டுக்கு 1-2 நிமிடங்கள் எடுத்துக்கொள்கிறது. இருப்பினும், நிஜ உலகப் பணிகளில், ஒரு தொடர்புக்கான நேரம், பணம் மற்றும் ஆபத்துச் செலவுகள் தூய கணக்கீட்டுச் செலவை விட அதிகமாக இருக்கும், எனவே GPU நேரத்தை மட்டுமே கொண்டு மதிப்பிடுவது நியாயமற்றது. மிக முக்கியமான நுண்ணறிவு இதுதான்: LLM ஏஜெண்டின் வெற்றி சிறந்த "கற்றல் அல்காரிதம்" இருப்பதால் அல்ல, மாறாக அது மகத்தான முன் அறிவைக் கொண்டு செல்வதால் ஆகும். விளையாட்டு விதிகள் மாறும்போது, Q-கற்றலுக்கு முழுமையான மறுபயிற்சி தேவைப்படுகிறது, அதேசமயம் LLM ஏஜெண்ட் நேரடியாக பகுத்தறிவு மூலம் தன்னைத் தகவமைத்துக் கொள்ள முடியும். இது ஒரு நடைமுறை வடிவமைப்புக் கொள்கைக்கு வழிவகுக்கிறது: உருவகப்படுத்துதல் செலவுகள் குறைவாகவும், மீண்டும் மீண்டும் செய்யக்கூடிய தன்மை அதிகமாகவும் உள்ள சூழ்நிலைகளில் பாரம்பரிய RL மதிப்புமிக்கதாக உள்ளது; அதிக தொடர்புச் செலவுகள் மற்றும் விரைவான தகவமைப்புத் தேவை உள்ள நிஜ உலக சூழ்நிலைகளில், LLM ஏஜெண்டுகளின் சாம்பிள் திறன் மிகவும் நடைமுறைக்குரியது.

மூன்று கற்றல் முன்னுதாரணங்களின்—சூழலில் கற்றல் (in-context learning), வெளிப்புறமயமாக்கப்பட்ட கற்றல் (externalized learning), மற்றும் அளவுரு கற்றல் (parametric learning, பிந்தைய பயிற்சி)—ஒவ்வொன்றின் நிலைப்பாடு மற்றும் ஒருங்கிணைப்பு குறித்து, அத்தியாயம் 1 ஒரு முறையான ஒப்பீட்டை வழங்குகிறது, மேலும் இந்த அத்தியாயத்தின் முடிவில் உள்ள "முழுமையான படம்" இந்த தலைப்புக்குத் திரும்பும். இந்த அத்தியாயத்தின் மைய இழை பிந்தைய பயிற்சி (post-training) ஆகும்—தொடர்பு உத்திகளை மாதிரி அளவுருக்களில் எழுதுதல்.

மாதிரி முன்-பயிற்சி அடிப்படைகள் `[விருப்ப வாசிப்பு]`¶

பிந்தைய பயிற்சி நுட்பங்கள் ஏன் பயனுள்ளதாக இருக்கின்றன என்பதைப் புரிந்துகொள்ள, முன்-பயிற்சி என்ன நிறுவுகிறது என்பதை முதலில் புரிந்துகொள்ள வேண்டும். பிந்தைய பயிற்சி (SFT மற்றும் RL) அடிப்படையில் முன்-பயிற்சியால் நிறுவப்பட்ட பிரதிநிதித்துவ இடத்தில் (representation space) உகந்ததாக்குகிறது—முன்-பயிற்சியால் அமைக்கப்பட்ட அறிவுக் கட்டமைப்பு பிந்தைய பயிற்சியின் உச்சவரம்பை தீர்மானிக்கிறது. எனவே, மூன்று சோதனைகள் மூலம் முன்-பயிற்சியின் முக்கிய அம்சங்களை ஆராய்வோம்: ஒரு சிறிய அளவிலான மொழி மாதிரியை புதிதாகப் பயிற்றுவித்தல், காட்சித் திறன்களை நீட்டித்தல், மற்றும் புதிய மொழி அறிவை செலுத்துதல். இந்தப் பகுதியில் உள்ள மூன்று சோதனைகள் துணை நோக்கமுடையவை, வாசகர்களுக்கு முன்-பயிற்சி (Pretraining, அதாவது, மாதிரிக்கு அடிப்படை மொழி விதிகள் மற்றும் உலக அறிவைக் கற்பிக்க பெரிய அளவிலான தரவுகளில் ஆரம்ப பயிற்சி) பற்றிய உள்ளுணர்வை வளர்க்க உதவுகின்றன—முன்-பயிற்சி செயல்முறையை ஏற்கனவே அறிந்த வாசகர்கள் இவற்றைத் தவிர்க்கலாம்.

படம் 7-8: முன்-பயிற்சி அடுத்த டோக்கன் கணிப்பு

மொழி மாதிரி பயிற்சி மூன்று-நிலை செயல்முறையைப் பின்பற்றுகிறது: "டோக்கனாக்கம் — முன்-பயிற்சி — பின்-பயிற்சி." டோக்கனாக்கம் உரையை தனித்தனி அலகுகளாகப் பிரிக்கிறது. உதாரணமாக, "I like programming" என்பது "I," "like," "program," "ming" என டோக்கன்களாகப் பிரிக்கப்படலாம்—இந்த டோக்கன்களே மாதிரி உரையைச் செயலாக்கும் மிகச்சிறிய அலகுகள். முன்-பயிற்சியின் பணி கருத்தியல் ரீதியாக எளிமையானது: உரைப் பகுதியின் முதல் பகுதியை மாதிரிக்குக் காட்டி, அடுத்த டோக்கனைக் கணிக்கச் சொல்வது. அதன் கணிப்பை சரியான விடையுடன் ஒப்பிட்டு (இந்த வேறுபாடு Loss எனப்படும்; சிறிய Loss என்பது துல்லியமான கணிப்பைக் குறிக்கிறது), மாதிரி தொடர்ந்து அதன் அளவுருக்களைச் சரிசெய்கிறது. பாரிய உரைத் தரவுகளில் மீண்டும் மீண்டும் பயிற்சி செய்த பிறகு, மாதிரி படிப்படியாக மொழி விதிகள், உலக அறிவு மற்றும் அடிப்படை பகுத்தறிவுத் திறன்களைக் கற்றுக்கொள்கிறது. முன்-பயிற்சிக்குப் பிறகு, மாதிரி சரளமான உரையை உருவாக்க முடியும், ஆனால் வெளியீட்டில் கட்டமைப்பு இல்லை மற்றும் வழிமுறைகளைப் பின்பற்றுவதில் சிரமம் உள்ளது. பின்-பயிற்சி, SFT (லேபிளிடப்பட்ட உள்ளீடு-வெளியீட்டு ஜோடிகளில் பயிற்சி) மற்றும் விருப்ப மேம்படுத்தல் (எ.கா., DPO, மனிதர்கள் விரும்பும் பதில்களை உருவாக்க மாதிரிக்குக் கற்பித்தல்) மூலம், அதை ஒரு நடைமுறை உதவியாளராக மாற்றுகிறது.

சோதனை 7-3 ★★: ஒரு LLM ஐ பூஜ்ஜியத்திலிருந்து பயிற்றுவித்தல்—அல்காரிதம் மேம்பாட்டின் சக்தி

MiniMind 2 (100 மில்லியன் அளவுருக்கள்) ஐ ஒரு வழக்கு ஆய்வாகப் பயன்படுத்தி, நுகர்வோர்-தர GPU இல் முழு பயிற்சி செயல்முறையை முடிக்கவும். இரண்டு அல்காரிதம் மேம்படுத்தல்களை (QK Norm மற்றும் Muon optimizer) அறிமுகப்படுத்துவதன் மூலம், ஒருங்கிணைப்பு வேகம் 3 மடங்கு அதிகரிக்கிறது, மற்றும் உருவாக்கத் தரம் கணிசமாக மேம்படுகிறது—மிகக் குறைந்த செலவில் அடையப்படுகிறது, மொத்த பயிற்சி ~14 மணி நேரம், செலவு ~$34.

ஒவ்வொரு பயிற்சி நிலையின் விளைவுகள்: முன்-பயிற்சிக்குப் பிறகு, மாதிரி "உலகின் மிக உயரமான மலை எது?" போன்ற உண்மை கேள்விகளுக்குப் பதிலளிக்க முடியும், ஆனால் வடிவம் தரமற்றதாக இருக்கும்; SFT க்குப் பிறகு, வழிமுறை பின்பற்றுதல் மற்றும் வெளியீட்டு வடிவம் கணிசமாக மேம்படுகிறது, எதிர்பார்த்தபடி பதில்களை ஒழுங்கமைக்கிறது; விருப்ப மேம்படுத்தல் மேலும் உண்மைப் பிழைகள் மற்றும் இயற்கைக்கு மாறான வெளிப்பாடுகளைக் குறைக்கிறது. 100-மில்லியன்-அளவுரு மாதிரி இன்னும் வெளிப்படையான வரம்புகளைக் கொண்டுள்ளது (சிக்கலான சிக்கல்களில் பிழைகள் ஏற்பட வாய்ப்புள்ளது), ஆனால் பாடம்: நிலையான, சிறிய பட்ஜெட்டில், அல்காரிதம் மேம்பாடுகள் அளவை வெறுமனே அதிகரிப்பதை விட சிறந்த மதிப்பை வழங்குகின்றன.

சோதனை 7-4 ★★: உங்கள் சொந்த VLM ஐ பயிற்றுவித்தல்

VLM-கள் ஒரே மாதிரியில் காட்சி உணர்வையும் மொழி புரிதலையும் ஒருங்கிணைக்கின்றன. முக்கிய சவால் குறுக்கு-மாதிரி சீரமைப்பு (cross-modal alignment) ஆகும்—"பார்ப்பது" "சொல்வதுடன்" ஒத்துப்போகச் செய்வது. இந்த கட்டமைப்பு மூன்று கூறுகளைக் கொண்டுள்ளது: ஒரு விஷன் என்கோடர் (Vision Encoder) (எ.கா., CLIP, அளவுருக்கள் முடக்கப்பட்டவை) படங்களிலிருந்து சொற்பொருள் அம்சங்களைப் பிரித்தெடுக்கிறது; ஒரு ப்ரொஜெக்ஷன் லேயர் (Projection Layer) (இலகுவானது, புதிதாகப் பயிற்றுவிக்கப்படும் ஒரே பகுதி) காட்சி அம்சங்களுக்கும் மொழி மாதிரிக்கும் இடையே ஒரு "மொழிபெயர்ப்பாளராக" செயல்பட்டு, காட்சி அம்சங்களை மொழி மாதிரி புரிந்துகொள்ளக்கூடிய ஒரு பிரதிநிதித்துவ இடத்திற்கு (representation space) மேப்பிங் செய்கிறது; மற்றும் ஒரு மொழி மாதிரி (Language Model) விளக்க உரையை உருவாக்குகிறது. பயிற்சியானது "LLM-ஐ முடக்கு + ப்ரொஜெக்ஷன் லேயரை மட்டும் பயிற்றுவி" என்ற உத்தியைப் பயன்படுத்தி பேரழிவு மறதியை (Catastrophic Forgetting) (புதிய திறன்களைக் கற்ற பிறகு பழைய திறன்களை மறத்தல்) தவிர்க்கிறது; முன்-பயிற்சி சீரமைப்புக்குப் பிறகு, LLM முடக்கப்படாமல் விடுவிக்கப்பட்டு, உயர்தர படம்-விளக்கம் ஜோடிகளுடன் SFT செய்யப்படுகிறது, இது விளக்கங்களின் விவரம் மற்றும் துல்லியத்தை கணிசமாக மேம்படுத்துகிறது.

இந்த சோதனையானது மல்டிமாதிரி மாதிரி பயிற்சிக்கான அடிப்படை முன்னுதாரணத்தை வெளிப்படுத்துகிறது: ஒற்றை-மாதிரி (unimodal) முன்-பயிற்சி முடிவுகளை மீண்டும் பயன்படுத்துதல் மற்றும் இலகுவான ப்ரொஜெக்ஷன் லேயரைப் பயிற்றுவிப்பதன் மூலம் குறுக்கு-மாதிரி சீரமைப்பை அடைதல்—திறமையானது மற்றும் அளவிடக்கூடியது, ஆனால் ப்ரொஜெக்ஷன் லேயரின் வரையறுக்கப்பட்ட வெளிப்பாட்டுத் திறன் ஆழமான குறுக்கு-மாதிரி புரிதலுக்கு ஒரு தடையாக மாறக்கூடும். இதே "விஷன் என்கோடர் + ப்ரொஜெக்ஷன் லேயர் + LLM" அடிப்படை கட்டமைப்பை மேலும் ஒரு படி நீட்டித்து, மாதிரியானது செயல்களை வெளியிடச் செய்வது, அத்தியாயம் 9-இல் விரிவாக விளக்கப்பட்டுள்ள VLA (Vision-Language-Action) மாதிரிக்கு வழிவகுக்கிறது.

சோதனை 7-5 ★★: புதிய மொழியைக் கற்க தொடர்ச்சியான முன்-பயிற்சி

Mistral 7B v0.3-ஐ அடிப்படையாகப் பயன்படுத்தி (முதன்மையாக ஆங்கிலத்தில் முன்-பயிற்சி பெற்றது, கொரிய மொழியில் எந்தவொரு புரிதலும் இல்லாதது), கொரிய விக்கிபீடியாவில் தொடர்ச்சியான முன்-பயிற்சி மூலம் கொரிய திறனைச் செலுத்தவும்—ஏற்கனவே முன்-பயிற்சியை முடித்த ஒரு மாதிரியைப் பயன்படுத்தி புதிய மொழித் தரவுகளில் மேற்பார்வையற்ற பயிற்சியை (unsupervised training) செய்யவும். மாதிரியானது ஏற்கனவே பொதுவான மொழி மாடலிங் திறன்களைக் கொண்டுள்ளது மற்றும் புதிய தரவு பரவலுக்கு (data distribution) மட்டுமே தன்னைத் தகவமைத்துக் கொள்ள வேண்டும், இதனால் செலவு புதிதாகப் பயிற்றுவிப்பதை விட மிகவும் குறைவு. ஒரு முக்கிய பொறியியல் புள்ளியானது, பேரழிவு மறதியைக் குறைக்க கலப்புத் தரவை (~80% கொரியன் + 20% ஆங்கிலம்) பயன்படுத்துவதாகும்: இலக்கு மொழியின் விகிதம் மிக அதிகமாக இருந்தால் அசல் மொழியில் சிதைவு ஏற்படுகிறது, அதே நேரத்தில் மிகக் குறைவாக இருந்தால் போதுமான கற்றல் திறன் இல்லை. இறுதியாக, நடைமுறை கொரிய உரையாடல் திறனைப் பெற கொரிய அறிவுறுத்தல் தரவுகளுடன் SFT செய்யப்படுகிறது. இந்த சோதனையின் முடிவு இந்த அத்தியாயத்தின் முடிவில் உள்ள முழுமையான படத்தில் மீண்டும் பயன்படுத்தப்படும்: ஒரு மாதிரி அதிக அளவிலான புதிய கள அறிவை நினைவில் வைத்திருக்க, SFT-ஐ அல்ல, தொடர்ச்சியான முன்-பயிற்சியையே நம்பியிருக்க வேண்டும்.

மூன்று முன்-பயிற்சி (pre-training) சோதனைகளும் ஒரு பொதுவான வடிவத்தை வெளிப்படுத்துகின்றன: வரவு செலவுத் திட்டங்கள் கட்டுப்படுத்தப்படும்போது, வெறுமனே அளவை அதிகரிப்பதை விட, வழிமுறை மேம்பாடுகள் மற்றும் கட்டமைப்பு புதுமைகள் சிறந்த மதிப்பை வழங்குகின்றன. மிக முக்கியமாக, முன்-பயிற்சி மாதிரிக்கு விளக்க அறிவு மற்றும் மொழி மாதிரியாக்க திறன்களை வழங்குகிறது, ஆனால் கட்டமைக்கப்பட்ட வழிமுறை பின்பற்றுதல் மற்றும் பணி சார்ந்த நடத்தை இல்லாமல் உள்ளது—இதுவே SFT நிரப்ப வேண்டிய இடைவெளியாகும்.

முன்-பயிற்சியின் அடித்தள திறன்களுடன், அடுத்த படி பொது-நோக்க மாதிரியை பின்-பயிற்சி (post-training) மூலம் ஒரு நடைமுறை ஏஜெண்டாக (agent) மாற்றுவதாகும். பின்-பயிற்சியின் முதல் நிலை மேற்பார்வை நுண் சரிப்படுத்தல் (Supervised Fine-Tuning - SFT) ஆகும்.

SFT (மேற்பார்வை நுண் சரிப்படுத்தல்)¶

படம் 7-10: மேற்பார்வை நுண் சரிப்படுத்தல் (SFT) செயல்முறை

பகுதி 7.1 ஏற்கனவே SFT-யின் சாரத்தை முழுமையாக விளக்கியுள்ளது (தரவை மாற்றுதல், பதிலில் மட்டும் இழப்பைக் கணக்கிடுதல், "அடுத்த வார்த்தையை கணித்தல்"). இந்த பகுதி நான்கு சோதனைகள் மூலம், "நிலையான வரைபடங்கள் மற்றும் நெறிமுறைகளை அளவுருக்களில் எழுதுதல்" என்ற இந்த வழிமுறை வெவ்வேறு பணிகளுக்கு என்ன குறிப்பாக உறுதிப்படுத்துகிறது என்பதைப் பார்க்கிறது. SFT-யின் மைய மதிப்பு புதிய அறிவை செலுத்துவது அல்ல, மாறாக நெறிமுறைகளை உறுதிப்படுத்துவது: வரைபட உறவுகள், தொடர்பு வடிவங்கள் மற்றும் பாணி விதிமுறைகளை அளவுருக்களில் எழுதுதல், இது மாதிரியை நீண்ட தூண்டுதல்கள் (prompts) இல்லாமல், அனுமானத்தின் போது எதிர்பார்ப்புகளை பூர்த்தி செய்யும் வெளியீடுகளை உருவாக்க உதவுகிறது. பொதுவாக, அடிப்படை உரையாடல் திறன் மற்றும் வழிமுறை பின்பற்றுதலை நிறுவ சில ஆயிரம் முதல் பல்லாயிரம் உயர்தர எடுத்துக்காட்டுகள் மட்டுமே தேவை.

இந்த செயல்திறனின் விலை பயிற்சி விநியோகத்தின் மீது வலுவான சார்பு ஆகும்: SFT பொதுமைப்படுத்தலை விட மனப்பாடம் செய்வதை நோக்கி சாய்கிறது. சோதனை நேரத்தில் பயிற்சியின் போது பார்க்காத சூழ்நிலைகளை எதிர்கொள்ளும்போது, செயல்திறன் குறிப்பிடத்தக்க அளவில் குறைவதை அடிக்கடி காணலாம். பின்வரும் சோதனைகள் இந்த "நெறிமுறைகளை உறுதிப்படுத்தும்" செயல்முறையை வெவ்வேறு கோணங்களில் நிரூபிக்கும்.

SFT ஐச் செய்யத் தொடங்குவதற்கு முன், தவிர்க்க முடியாத ஒரு நடைமுறைக் கேள்வி உள்ளது: SFT தரவு எங்கிருந்து வருகிறது? தொழில்துறையின் பதில் அடிப்படையில் மூன்று வழிகளாகும்: மனித நிபுணர் செயல்விளக்கங்கள்—மிக உயர்ந்த தர உச்சவரம்பு கொண்டவை, ஆனால் விலை உயர்ந்தவை மற்றும் மெதுவானவை; வடிவம் மற்றும் பாணியை வரையறுக்கும் "விதைத் தரவாக" (seed data) பயன்படுத்த ஏற்றவை; ஆசிரியர் மாதிரி உருவாக்கம்—அதாவது ஒத்திசைவுத் தரவு (synthetic data), ஒரு வலுவான மாதிரியைப் பயன்படுத்தி "உள்ளீடு—வெளியீடு" இணைகளை மொத்தமாக உருவாக்கி, வடிகட்டிய பிறகு மாணவருக்குக் காய்ச்சி வடித்தல் செய்வது (சோதனை 7-8, 7-9 இரண்டும் இந்த வழியையே பின்பற்றுகின்றன); மாதிரி தன்-தூண்டல்—மாதிரியே அதே சிக்கலுக்குப் பல வேட்பாளர்களை மாதிரியெடுத்து, சரிபார்ப்பியால் சரியான மாதிரிகளைத் தேர்ந்தெடுத்து, திரும்பவும் தன்னையே பயிற்றுவிப்பது—இதுவே நிராகரிப்பு மாதிரிதேர்வு நுண் சரிப்படுத்தல் (rejection sampling fine-tuning), விவரங்களுக்குச் சோதனை 7-9 ஐப் பார்க்கவும். இந்த மூன்று வழிகளும் பெரும்பாலும் இணைந்து பயன்படுத்தப்படுகின்றன: முதலில் சிறிய அளவிலான மனித விதைகளால் வடிவத்தை நிலைநிறுத்தி, பின்னர் ஆசிரியர் மாதிரியால் அளவைப் பெருக்கி, இறுதியாக நிராகரிப்பு மாதிரிதேர்வால் தரத்தைச் சமப்படுத்துவது. எந்த வழியைத் தேர்ந்தெடுத்தாலும், கட்டமைப்புச் செயல்முறை ஏறக்குறைய ஒன்றே: முதலில் பணி விநியோகத்தையும் வெளியீட்டு schema ஐயும் வரையறுத்து, பின்னர் வேட்பாளர்களை மொத்தமாக உருவாக்கி, அடுத்து விதி சரிபார்ப்பு, வடிவச் சோதனை மற்றும் மனித நோக்குக் கண்காணிப்பு ஆகியவற்றால் தர வடிப்பான் செய்து, இறுதியாக நகல்களை நீக்கி, விகிதங்களைச் சமப்படுத்தி, பன்முகத்தன்மையை உறுதிப்படுத்துவது. அளவில் பேராசை வேண்டாம்—பல ஆயிரம் முதல் பல்லாயிரம் உயர்தர மாதிரிகளே வழக்கமாக நெறிமுறையை உறுதிப்படுத்தப் போதுமானவை; ஒரு லட்சம் அசுத்தமான தரவைக் குவிப்பதை விட, பத்தாயிரம் சுத்தமான தரவை மெருகேற்றுவதே நல்லது: தரவில் உள்ள ஒவ்வொரு சத்தத்தையும் SFT உண்மையாக அளவுருக்களில் எழுதிவிடும்.

சோதனை 7-6 ★★★: குரல் SFT—"ஒலி நகலெடுப்பில்" இருந்து "புறமொழியியல் மாதிரியாக்கம்" வரை [நீட்டிக்கப்பட்ட சோதனை]

Orpheus (சூழல் தூண்டுதல் குரல் குளோனிங்) மற்றும் Sesame (புறமொழியியல் டோக்கன் மாதிரியாக்கம்) ஆகியவற்றை இலக்குகளாகக் கொண்டு, "குரல் பாணி மற்றும் வெளிப்பாடு பழக்கங்கள்" எவ்வாறு அளவுருக்களில் எழுதப்படுகின்றன என்பதை நிரூபிக்கவும். இரண்டு அணுகுமுறைகளும் வேறுபடுகின்றன:

Orpheus: குரல் அலைவடிவத்தை ஒரு டோக்கன் வரிசையில் சுருக்குகிறது. அதே பேச்சாளரின் குறிப்பு ஆடியோவை இணைப்பதன் மூலம், மாதிரி "இந்த நபரின் குரலில் பேச" கற்றுக்கொள்கிறது, இது வாக்கியங்களுக்கு இடையேயான ஒலி நிலைத்தன்மையை அடைகிறது.

Sesame: சிரிப்பு மற்றும் பெருமூச்சு போன்ற புறமொழியியல் நிகழ்வுகளை <laugh>, <sigh> போன்ற சிறப்பு டோக்கன்களாக சுருக்கிக் காட்டுகிறது. மாதிரி "டோக்கனைப் பார்க்கும்போது தொடர்புடைய ஒலியை உருவாக்க" கற்றுக்கொள்கிறது.

வெளிப்பாட்டுத் திறன் சார்ந்த பணிகளில், SFT உண்மை அறிவு அல்லது சிக்கலான பகுத்தறிவை விட, பாணி கட்டுப்பாட்டு நெறிமுறைகளையும் கட்டமைக்கப்பட்ட வெளிப்பாட்டுப் பழக்கங்களையும் உறுதிப்படுத்துகிறது. முக்கிய அம்சம் பயிற்சித் தரவின் பன்முகத்தன்மை மற்றும் குறியீட்டுத் தரத்தில் உள்ளது. பொதுவான தோல்வி முறைகள்: பயிற்சித் தரவில் மிகக் குறைவான பேச்சாளர்கள் இருப்பதால் அனைவரும் ஒரே மாதிரி ஒலிப்பது; டோக்கன் மிகைப்பொருத்தம் (Overfitting, மாதிரி பயிற்சி மாதிரி விவரங்களை மனப்பாடம் செய்து புதிய சூழ்நிலைகளில் மோசமாக செயல்படும் நிலை) "இயந்திர சிரிப்புக்கு" வழிவகுப்பது.

சோதனை 7-7 ★★★: பன்மொழி சிந்தனை—எந்த மொழியிலும் சிந்திக்க மாதிரியை இயக்குதல் [நீட்டிக்கப்பட்ட சோதனை]

பெரும்பாலான சிந்தனை மாதிரிகள் ஆங்கிலத்தில் மட்டுமே "சிந்திக்கின்றன": நீங்கள் எந்த மொழியில் கேள்வி கேட்டாலும், மாதிரியின் உள் சிந்தனைச் சங்கிலி கிட்டத்தட்ட எப்போதும் ஆங்கிலத்திலேயே இருக்கும், ஏனெனில் பயிற்சித் தரவில் உள்ள உயர்தர சிந்தனை எடுத்துக்காட்டுகள் பெரும்பாலும் ஆங்கிலத்தில் எழுதப்பட்டவை. இந்தச் சோதனையின் நோக்கம் எளிதானது—குறிப்பிட்ட மொழியில் சிந்திக்க மாதிரியை இயக்குவது.

அணுகுமுறை gpt-oss-20b இல் SFT செய்வதாகும்: சிஸ்டம் ப்ராம்ப்ட்டில் reasoning language: German (அல்லது வேறு மொழி) என்ற வரியைச் சேர்த்து, பின்னர் ஆங்கிலம், ஸ்பானிஷ், பிரஞ்சு போன்ற மொழிகளில் உள்ள பகுத்தறிவு எடுத்துக்காட்டுகளுடன் பயிற்சி அளிப்பது. பயிற்சித் தரவில் சீன மொழி எதுவும் இல்லை, ஆனால் பயிற்சிக்குப் பிறகு, பகுத்தறிவு மொழியை சீனமாக அமைத்தால் மாதிரி சீன மொழியில் முழுமையான சிந்தனைச் சங்கிலி பகுத்தறிவைச் செய்ய முடியும்—இந்த பூஜ்ஜிய-ஷாட் குறுக்கு-மொழி பொதுமைப்படுத்தலே இந்தச் சோதனையின் மிகவும் சுவாரஸ்யமான கண்டுபிடிப்பாகும். இது SFT இன் பொதுமைப்படுத்தல் திறன் அல்ல என்பதைக் கவனிக்கவும். பன்மொழி முன்-பயிற்சி ஏற்கனவே மாதிரியில் ஒரு பகிரப்பட்ட குறுக்கு-மொழி பிரதிநிதித்துவ இடத்தை நிறுவியுள்ளது; SFT இந்த முன்பே இருக்கும் குறுக்கு-மொழி திறனை செயல்படுத்துகிறது.

சோதனை 7-8 ★★: Prompt Distillation—குறைந்த செலவில் பயன்படுத்தக்கூடிய திறன்களை நகலெடுத்தல்

நடைமுறை பயன்பாடுகளில், ஒரு மாதிரியை சிக்கலான பணிகளைச் செய்ய வைக்க, நீண்ட சிஸ்டம் ப்ராம்ப்ட்கள் (ஆயிரக்கணக்கான அல்லது பல்லாயிரக்கணக்கான டோக்கன்கள்) தேவைப்படுகின்றன, இது ஒவ்வொரு அழைப்பிலும் தாமதத்தையும் செலவையும் அதிகரிக்கிறது. பகுத்தறிவு LLM களைப் பயன்படுத்தும்போது, உள் சிந்தனை டோக்கன்கள் செலவை மேலும் அதிகரிக்கின்றன. Prompt distillation இன் கருத்து, "நீண்ட prompt + சிந்திக்கும் ஆசிரியர்" இன் நடத்தையை "குறுகிய prompt/ prompt இல்லை + சிந்திக்காத மாணவர்" ஆக சுருக்குவதாகும். ஆசிரியர் முழு prompt மற்றும் சிந்தனை முறையில் உயர்தர பதில்களை உருவாக்குகிறார்; பயிற்சித் தரவு பயனர் உள்ளீடு மற்றும் இறுதி முடிவை மட்டுமே வைத்திருக்கிறது, நீண்ட prompt மற்றும் இடைநிலை சிந்தனை செயல்முறையை நீக்குகிறது. மாணவர் "நேரடியாக முடிவை வழங்க" கற்றுக்கொள்கிறார். வடித்தலுக்குப் பிறகு, அதே உள்ளீடுகளில் மாணவரின் வெளியீட்டுத் தரம் ஆசிரியரின் தரத்தை நெருங்குகிறது, அதே நேரத்தில் தாமதமும் செலவும் கணிசமாகக் குறைக்கப்படுகின்றன, ஏனெனில் நீண்ட prompt மற்றும் சிந்தனை டோக்கன்களைச் செயலாக்க வேண்டிய அவசியமில்லை.

காய்ச்சி வடித்தல் (Distillation) இரண்டு பரிமாணங்களில் செய்யப்படலாம்: "பெரியதிலிருந்து சிறியதாக" (செலவு மற்றும் தரத்தை சமநிலைப்படுத்த பெரிய மாதிரியை நடுத்தர அல்லது சிறிய மாதிரியுடன் மாற்றுதல்) மற்றும் "சிந்தனையிலிருந்து சிந்தனையற்றதாக" (வெளிப்படையான CoT ஐ அதே அளவில் மறைமுக அளவுரு அறிவில் இணைத்து, பதில் வேகத்தில் 20-30x முன்னேற்றத்தை அடைதல்). இவை இரண்டும் ஒன்றுக்கொன்று பிரத்தியேகமானவை அல்ல, மேலும் உற்பத்தி சூழல்களில் பெரும்பாலும் ஒன்றாகப் பயன்படுத்தப்படுகின்றன. காய்ச்சி வடித்தல் ஆசிரியரின் (teacher) எல்லைகளைப் பெறுகிறது என்பதைக் கவனத்தில் கொள்வது முக்கியம்—ஆசிரியருக்கு விநியோகத்தின் நீண்ட வால் (long tail) பகுதியில் முறையான பிழைகள் இருந்தால், மாணவர் (student) இந்தப் பிழைகளை மேலும் உறுதிப்படுத்துவார்; ஆசிரியர் சரியான தன்மையை உறுதிப்படுத்த கருவிகளை (tools) நம்பியிருந்தால், எளிய வெளியீட்டு காய்ச்சி வடித்தல் கருவிகள் வழங்கும் உறுதித்தன்மையை இழக்கும். பொறியியல் நுண்ணறிவு: தயாரிப்பு வடிவம் நிலையானதாகவும், உள்ளீட்டு விநியோகம் கணிக்கக்கூடியதாகவும், செலவுக் கட்டுப்பாடுகள் குறிப்பிடத்தக்கதாகவும் இருக்கும்போது, prompt distillation ஒரு சிறந்த உகப்பாக்க முறையாகும்; ஆய்வுக் கட்டத்தில் அல்லது பணி இன்னும் இறுதி செய்யப்படாதபோது, வெளிப்படையான சிந்தனை மற்றும் திருத்தக்கூடிய prompt engineering ஆகியவற்றைத் தக்கவைத்துக்கொள்வது விரைவான சோதனையின் மையமாக உள்ளது.

சோதனை 7-9 ★★★: சிந்தனைச் சங்கிலி (Chain of Thought - CoT) காய்ச்சி வடித்தல் [நீட்டிக்கப்பட்ட சோதனை]

Prompt distillation சிந்தனை செயல்முறையை நிராகரிக்கிறது; CoT distillation எதிர்மாறாகச் செய்கிறது: இது ஒரு வலுவான ஆசிரியர் மாதிரியின் முழுமையான சிந்தனைப் பாதையை மாணவர் மாதிரிக்கு மாற்றுகிறது. திறமையான ஆசிரியர் மாதிரியில் CoT distillation செய்வது, அதே அளவுரு எண்ணிக்கையில் ஆசிரியரின் திறனில் 70%-80% ஐ மீட்டெடுக்க முடியும். மிக நவீன (state-of-the-art) திறன்களின் எல்லையைத் தள்ள முயலாமல், கட்டுப்படுத்தக்கூடிய மாதிரிகளை விரும்பும் குழுக்களுக்கு, இதுவே மிகவும் நடைமுறைக்குரிய பின்தொடர்பவர் உத்தியாகும். DeepSeek-R1 ஆல் திறந்த மூலமாக வெளியிடப்பட்ட சிறிய மாதிரிகளின் தொடர் (R1 இன் சிந்தனைப் பாதைகளைப் பயன்படுத்தி Qwen மற்றும் Llama தொடர்களில் SFT செய்வதன் மூலம்) இந்த அணுகுமுறையின் பிரதிநிதித்துவ உதாரணமாகும்.

பின்னணி: "சிந்தனைச் சுவர்" (Thinking Wall) நிகழ்வு. சில மூடிய மூல பகுத்தறிவு மாதிரிகள் (எ.கா., OpenAI o-தொடர், Gemini தொடர்) பகுத்தறிவின் போது உள் சிந்தனைச் சங்கிலியை உருவாக்குகின்றன, ஆனால் பயனர்கள் பார்ப்பது அசல் சிந்தனை செயல்முறை அல்ல—காய்ச்சி வடித்தலைத் தடுப்பது, பாதுகாப்பு மற்றும் தயாரிப்பு அனுபவம் போன்ற காரணங்களுக்காக, வழங்குநர்கள் பெரும்பாலும் வெளியிடுவதற்கு முன் CoT ஐ மாற்றி எழுதுகிறார்கள் அல்லது சுருக்கமாகக் கூறுகிறார்கள், மிகவும் மதிப்புமிக்க அசல் சிந்தனை செயல்முறையை API க்குப் பின்னால் மறைத்து விடுகிறார்கள். இதனால்தான் இந்தச் சோதனை திறந்த மூல பகுத்தறிவு மாதிரிகளை ஆசிரியர்களாகத் தேர்ந்தெடுக்கிறது: DeepSeek V4, Kimi K3, GLM 5.2 போன்ற மாதிரிகள் நேரடியாக முழுமையான சிந்தனைச் சங்கிலியை வெளிப்படுத்துகின்றன, இது காய்ச்சி வடித்தலை தொழில்நுட்ப ரீதியாகவும் சட்ட ரீதியாகவும் சாத்தியமாக்குகிறது (இருப்பினும் பயன்படுத்துவதற்கு முன் காய்ச்சி வடித்த தயாரிப்புகள் குறித்த மாதிரி உரிமத்தின் விதிமுறைகளை உறுதிப்படுத்த வேண்டும்).

இங்கே ஒரு நடைமுறைக்குரிய மற்றும் இன்னும் முக்கியமான தீர்ப்பு உள்ளது: பின்-பயிற்சி செய்யும் பெரும்பாலானோருக்கு, மூடிய மூல மாதிரிகளின் சிந்தனைச் சங்கிலியை காய்ச்சி வடிக்கத் தேவையே இல்லை. இன்றைய சிறந்த திறந்த மூல மாதிரிகளுக்கும் SOTA மூடிய மூல மாதிரிகளுக்கும் இடையிலான இடைவெளி நினைப்பது போல் பெரியதாக இல்லை; ஆசிரியர் மாதிரி "மாணவரை விட தெளிவாக வலுவாக" இருந்தால் போதும், "உலகின் சிறந்ததாக" இருக்கத் தேவையில்லை. நீங்கள் பின்-பயிற்சி செய்யும் மாதிரி 200B அளவுருக்கள் அல்லது அதற்குக் குறைவாக இருந்தால், ஆசிரியராக திறந்த மூல SOTA மாதிரி முற்றிலும் போதுமானது.

சோதனை வடிவமைப்பு: மூன்று-படி செயல்முறை. படி 1, பாதைகளை சேகரிக்கவும்: இலக்கு பணி விநியோகத்திலிருந்து (எ.கா., கணிதம், குறியீடு) மாதிரி சிக்கல்களை எடுக்கவும், திறந்த மூல ஆசிரியர் மாதிரியைப் பயன்படுத்தி முழுமையான "சிந்தனை + பதில்" பாதைகளை உருவாக்கவும், மேலும் விதி அடிப்படையிலான சரிபார்ப்பியைப் பயன்படுத்தி தவறான இறுதி பதில்களைக் கொண்ட பாதைகளை வடிகட்டவும்—இல்லையெனில், மாணவர் பிழையான சிந்தனை செயல்முறையைப் பின்பற்றுவார். இந்த "வேட்பாளர்களை உருவாக்கு—சரிபார்த்து வடிகட்டு—சரியான பாதைகளை மட்டும் வைத்திரு" என்ற முறைக்கு ஒரு சிறப்புப் பெயர் உள்ளது: நிராகரிப்பு மாதிரிதேர்வு (Rejection Sampling). இவ்வாறு கட்டமைக்கப்பட்ட தரவைக் கொண்டு SFT செய்வதே நிராகரிப்பு மாதிரிதேர்வு நுண் சரிப்படுத்தல் (Rejection Sampling Fine-Tuning, RFT) ஆகும். இது தூய்மையான SFT க்கும் RL க்கும் இடையில் அமைகிறது: வெகுமதி மாதிரியைப் பயிற்றுவிக்காமல், கொள்கை சார்வு (policy gradient) செய்யாமல், "பல மாதிரிதேர்வுகளிலிருந்து தவறானவற்றை நிராகரித்து, சரியானவற்றை வைத்திருப்பது" மட்டுமே தரவுத் தரத்தை மேம்படுத்துகிறது—சரிபார்க்கக்கூடிய பணிகளில் மிக அதிக செலவு-செயல்திறன் விகிதம் கொண்ட தரவு கட்டமைப்பு முறையாகும். படி 2, SFT பயிற்சி: "சிக்கல் → <think> சிந்தனை பாதை </think> + இறுதி பதில்" ஐ பயிற்சி இணைகளாகப் பயன்படுத்தி, ஒரு சிறிய மாதிரியில் (எ.கா., 7B அளவு) நிலையான SFT ஐச் செய்யவும். படி 3, ஒப்பீட்டு மதிப்பீடு: காய்ச்சி வடித்தலுக்கு முன்னும் பின்னும் உள்ள மாணவர் மாதிரியையும், ஆசிரியர் மாதிரியையும் ஒரே அளவுகோலில் ஒப்பிட்டு, மீட்டெடுக்கப்பட்ட திறனின் விகிதத்தை அளவிடவும்.

ஏற்றுக்கொள்ளும் அளவுகோல்கள்: காய்ச்சி வடிக்கப்பட்ட மாணவர் மாதிரியானது, காய்ச்சி வடித்தலுக்கு முன் இருந்ததை விட கணிதம்/குறியீடு அளவுகோல்களில் குறிப்பிடத்தக்க முன்னேற்றத்தைக் காட்டுகிறது, மேலும் அதன் சிந்தனை பாதைகள் பிரதிபலிப்பு, பின்னோக்கிச் செல்லுதல் மற்றும் சரிபார்ப்பு போன்ற ஆசிரியர் போன்ற நடத்தைகளை வெளிப்படுத்துகின்றன. மேலும், காய்ச்சி வடித்தலின் செலவைக் கவனத்தில் கொள்ளுங்கள்: மாணவர் ஆசிரியரின் முறையான பிழைகள் மற்றும் வாய்மொழி சிந்தனை பழக்கங்களைப் பெறுவார் (பிந்தையதை சோதனை 7-10 இலிருந்து AdaptThink அணுகுமுறையைப் பயன்படுத்தி மேலும் மேம்படுத்தலாம்).

இந்த நான்கு சோதனைகளும் ஒரு பொதுவான அம்சத்தைப் பகிர்ந்து கொள்கின்றன—"நிலையான மேப்பிங்குகள் மற்றும் நெறிமுறைகளை அளவுருக்களில் எழுதுதல்": குரல் SFT பாணி கட்டுப்பாட்டு நெறிமுறைகளை உறுதிப்படுத்துகிறது, பன்மொழி SFT சிந்தனை அமைப்பு வார்ப்புருக்களை உறுதிப்படுத்துகிறது, மற்றும் காய்ச்சி வடித்தல் SFT உள்ளீட்டிலிருந்து வெளியீட்டிற்கு நேரடி மேப்பிங்கை உறுதிப்படுத்துகிறது. இவற்றின் பொதுவான தன்மை தெளிவான நோக்கங்கள், தெளிவான வடிவங்கள் மற்றும் நிலையான மதிப்பீட்டு அளவுகோல்கள் ஆகும், இது SFT மிக உயர்ந்த சாம்பிள் திறனுடன் ஆதாயங்களை அடைய அனுமதிக்கிறது; இருப்பினும், விநியோகம் மாறியவுடன், மனப்பாடம் செய்யும் போக்கு செயல்திறன் சரிவாக வெளிப்படுகிறது. இது பிரிவு 7.1, "SFT மற்றும் RL இடையேயான அடிப்படை வேறுபாடு" இல் விவாதிக்கப்பட்ட நினைவக-பொதுமயமாக்கல் பிளவின் சோதனை வெளிப்பாடாகும்.

SFT எப்போது தேர்வு செய்வது மற்றும் RL எப்போது தேர்வு செய்வது¶

பிரிவு 7.1 SFT மற்றும் RL இடையேயான அடிப்படை வேறுபாட்டை தெளிவுபடுத்தியது. இந்த பிரிவு மிகவும் நடைமுறைக் கேள்விக்கு பதிலளிக்கிறது: ஒரு குறிப்பிட்ட பணியை எதிர்கொள்ளும்போது, எதைப் பயன்படுத்த வேண்டும்? கீழே உள்ள முடிவெடுக்கும் கட்டமைப்பிலிருந்து சில முடிவுகள் அடுத்தடுத்த RL சோதனைகளில் (சோதனை 7-10, சோதனை 7-11) மேலும் சரிபார்க்கப்படும். வாசகர்கள் முதலில் ஒரு ஆரம்ப தீர்ப்பை உருவாக்கலாம், பின்னர் RL பகுதியைப் படித்த பிறகு மீண்டும் குறுக்கு-குறிப்புக்குத் திரும்பலாம்.

படம் 7-11: SFT→RL இரண்டு-நிலை பயிற்சி குழாய்

SFT பொருந்தக்கூடியது நிலையான வடிவங்கள் (JSON வெளியீடு, உரையாடல் பாணி), உயர்தர நிபுணர் விளக்கங்கள், மற்றும் பயிற்சி மற்றும் பயன்பாட்டு சூழல்களுக்கு இடையே அதிக நிலைத்தன்மை உள்ள சூழ்நிலைகளுக்கு. RL தேவைப்படும் சூழ்நிலைகள் வேறுபட்டவை: உண்மையான பயன்பாட்டு சூழலுக்கும் பயிற்சி சூழலுக்கும் இடையே முறையான வேறுபாடுகள் இருக்கும்போது (எ.கா., பயிற்சியின் போது, J/Q/K அட்டைகள் அனைத்தும் 10 ஆக இருக்கும், ஆனால் பயன்பாட்டின் போது அவை 11/12/13 ஆக மாறும்—விதிகள் மாறிவிட்டன; அல்லது பயிற்சியின் போது, கருப்பு சூட்டுகள் பயன்படுத்தப்படுகின்றன, ஆனால் பயன்பாட்டின் போது, சிவப்பு சூட்டுகள் சந்திக்கப்படுகின்றன—தோற்றம் மாறிவிட்டது), உகந்த உத்திகளை ஆராய வேண்டியிருக்கும்போது (நிபுணர் விளக்கங்கள் எப்போதும் உகந்ததாக இருக்காது), அல்லது ஒவ்வொரு பாதைக்கும் விளக்கங்களை வழங்குவதற்கான குறியீட்டு செலவுகள் மிக அதிகமாக இருக்கும்போது, RL தேவைப்படுகிறது.

மிகவும் வலுவான உத்தி "முதலில் SFT, பின்னர் RL" என்ற இரு-நிலை குழாய் ஆகும். SFT இன் முதன்மை நோக்கம் பணி செயல்திறனை அதிகரிப்பது அல்ல, மாறாக வெளியீட்டிற்கான வடிவ நிலைத்தன்மையை நிறுவுவதாகும்—மாதிரியானது பாகுபடுத்தக்கூடிய JSON மற்றும் சரியான கருவி இடைமுக அழைப்புகளை உருவாக்க முடியும் என்பதை உறுதி செய்வது. வெளியீட்டு வடிவம் நிலையான பின்னரே RL வெகுமதி சமிக்ஞையை நம்பத்தகுந்த முறையில் கணக்கிட முடியும். SFT இல்லாமல் ஒரு அடிப்படை மாதிரியில் நேரடியாக RL ஐ செயல்படுத்துவது, குழப்பமான வெளியீட்டு வடிவங்கள் மற்றும் கணக்கிட முடியாத வெகுமதிகள் காரணமாக அடிக்கடி பயிற்சி தோல்விக்கு வழிவகுக்கிறது—இருப்பினும் இந்த முடிவுக்கு எல்லை நிபந்தனைகள் உள்ளன: இது "சிறிய அடிப்படை மாதிரி + கடுமையான கட்டமைக்கப்பட்ட வெளியீட்டு தேவைகள்" (பின்னர் சோதனை 7-11 இல் உள்ளது போல) அமைப்பிலிருந்து வருகிறது. DeepSeek-R1-Zero, போதுமான வலுவான அடிப்படை மாதிரியானது SFT ஐ தவிர்த்துவிட்டு நேரடி RL உடன் வெற்றிபெற முடியும் என்பதை நிரூபித்தது, பிரதிபலிப்பு மற்றும் நீண்ட-சங்கிலி பகுத்தறிவு திறன்களுடன் வெளிப்படுகிறது—இது மோசமான வெளியீட்டு வாசிப்புத்திறன் மற்றும் கலப்பு மொழிகளின் விலையில் நிகழ்கிறது, இதனால்தான் DeepSeek இறுதியில் R1 இல் "குளிர்-தொடக்க SFT" ஐ மீண்டும் சேர்த்தது. Zero இலிருந்து குளிர்-தொடக்கம் வரையிலான R1 இன் சுற்றுப் பயணம் "முதலில் வடிவம், பின்னர் ஆவி" என்பதற்கான சிறந்த எடுத்துக்காட்டு ஆகும்: RL அதன் சொந்த "ஆவியை" (உத்தி மற்றும் பகுத்தறிவு திறன்) வளர்க்க முடியும், ஆனால் "வடிவம்" (வடிவம் மற்றும் வாசிப்புத்திறன்) இன்னும் SFT ஆல் விரைவாகவும் நிலையாகவும் நிறுவப்படுகிறது.

இரண்டிற்கும் அவற்றின் செலவுகள் உள்ளன: SFT அதிக சாம்பிள் திறன் மற்றும் வேகமான ஒருங்கிணைப்பைக் கொண்டுள்ளது, ஆனால் வரையறுக்கப்பட்ட பொதுமைப்படுத்தலைக் கொண்டுள்ளது; RL மாற்றத்தக்க உத்திகளைக் கற்றுக்கொள்ள முடியும், ஆனால் குறைந்த சாம்பிள் திறன் மற்றும் நிலையற்ற பயிற்சியைக் கொண்டுள்ளது. ஒரு நடைமுறை அளவுகோல்: "எத்தனை விளக்க எடுத்துக்காட்டுகள் சேர்க்கப்பட்டாலும், புதிய சூழ்நிலைகளில் செயல்திறன் இன்னும் மேம்படவில்லை" என்றால், அது RL க்கு மாறுவதற்கான முக்கியமான புள்ளியாகும்—பிரச்சினையின் வேர் விளக்கங்களின் எண்ணிக்கை அல்ல, மாறாக SFT இன் உகப்பாக்க இலக்கு ஆகும்.

நடைமுறையில், பின்வரும் வரிசையில் முடிவை எடுக்கலாம்:

முதலில் கேளுங்கள்: பிந்தைய பயிற்சி தேவையா? சிக்கலை Harness பொறியியல் (தூண்டுதல்களை மேம்படுத்துதல், கருவி வடிவமைப்பு, சூழல் மேலாண்மை) மூலம் தீர்க்க முடிந்தால், எந்த மாதிரி பயிற்சியும் தேவையில்லை. பெரும்பாலான ஏஜெண்ட் பயன்பாடுகள் இங்கே வருகின்றன.
பயிற்சி தேவைப்பட்டால்: முதலில் SFT ஐ முயற்சிக்கவும். வெளியீட்டு வடிவங்களை (JSON schema, API call format) உறுதிப்படுத்தவும், நெறிமுறை அறிவை (சொற்களின் பயன்பாடு, வெளியீட்டு வடிவம், செயல்முறை பழக்கங்கள், அதாவது "எப்படி சொல்வது மற்றும் செய்வது") உறுதிப்படுத்தவும், மற்றும் பாணியை (தொனி, நீளம்) ஒருங்கிணைக்கவும் SFT பொருத்தமானது. ஆனால் SFT ஆனது பெரிய அளவிலான உண்மை அறிவை ("என்ன தெரிந்து கொள்ள வேண்டும்") செலுத்துவதற்கு ஏற்றதல்ல என்பதை கவனத்தில் கொள்ளவும்—அதற்கு தொடர்ச்சியான முன்-பயிற்சி (continued pre-training) அல்லது RAG தேவைப்படுகிறது (இந்த அத்தியாயத்தின் முடிவில் உள்ள "முழுமையான படத்தை" பார்க்கவும்). SFT குறைந்த செலவு மற்றும் விரைவாக முடிவுகளைக் காட்டக்கூடியது.
SFT போதுமானதாக இல்லாதபோது: RL ஐ சேர்க்கவும். புதிய சூழ்நிலைகளுக்கு பொதுமைப்படுத்துதல், உகந்த உத்திகளை ஆராய்தல் அல்லது குறியீட்டு செலவுகள் மிக அதிகமாக இருக்கும் சூழ்நிலைகளுக்கு ஏற்றது. RL ஐப் பயன்படுத்துவதற்கு முன், SFT மூலம் வெளியீட்டு வடிவத்தை முதலில் நிலைப்படுத்துவதை உறுதிசெய்யவும்.

ஒற்றை-சுற்று வலுவூட்டல் கற்றல்: நினைவகம் மற்றும் பொதுமைப்படுத்தலின் ஒப்பீடு¶

"ஒற்றை-சுற்று" என்பது பணி ஒரே ஒரு இடைவினையில் முடிக்கப்படுகிறது என்பதாகும்: மாதிரி உள்ளீட்டைப் பெறுகிறது, வெளியீட்டை உருவாக்குகிறது, மற்றும் வெகுமதியைப் பெறுகிறது, படிகளில் நிலையைப் பராமரிக்க வேண்டிய அவசியமில்லை. இந்த எளிமைப்படுத்தப்பட்ட அமைப்பு, பல-சுற்று தொடர்புகளின் சிக்கலான தன்மை இல்லாமல், SFT மற்றும் RL இடையேயான கற்றல் வழிமுறைகளின் அடிப்படை வேறுபாடுகளில் கவனம் செலுத்த அனுமதிக்கிறது. ஒற்றை-சுற்று காட்சி தெளிவான கட்டுப்படுத்தப்பட்ட சோதனை நிலைமைகளை வழங்குகிறது: ஒரே பணி, ஒரே அடிப்படை மாதிரி, ஒரே கணக்கீட்டு வரவு செலவுத் திட்டம், ஒரே மாறி பயிற்சி முறை மட்டுமே. முதல் சோதனையானது RL "எப்போது சிந்திக்க வேண்டும்" என்ற மெட்டா-உத்தியை எவ்வாறு கற்றுக்கொள்கிறது என்பதை நிரூபிக்கிறது; இரண்டாவது சோதனையானது "SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது" என்பதை முறையாக அளவிட ஒரு எண்கணித பகுத்தறிவு அட்டை விளையாட்டைப் பயன்படுத்துகிறது.

சோதனைகளுக்குள் நுழைவதற்கு முன், RL அல்காரிதம்களைப் பற்றிய குறைந்தபட்ச உள்ளுணர்வை நிறுவுவோம், இதனால் அடுத்தடுத்த சோதனைகளில் தோன்றும் சொற்களைப் புரிந்து கொள்ளலாம் (முழுமையான சூத்திரங்கள் மற்றும் ஒப்பீடுகள் இந்த அத்தியாயத்தின் பிற்பகுதியில் உள்ள "வலுவூட்டல் கற்றல் அல்காரிதம்களின் ஒப்பீடு" பகுதிக்கு ஒதுக்கப்பட்டுள்ளன). இந்த அத்தியாயத்தில் உள்ள RL பயிற்சி பெரும்பாலும் பாலிசி கிரேடியன்ட் (policy gradient) அடிப்படையிலானது: மாதிரி ஒரே சிக்கலுக்கு பல பதில்களை உருவாக்குகிறது; அதிக வெகுமதி உள்ள பதில்களின் நிகழ்தகவு அதிகரிக்கப்படுகிறது, மேலும் குறைந்த வெகுமதி உள்ளவற்றின் நிகழ்தகவு குறைக்கப்படுகிறது—"அதிக வெகுமதியின் திசையில் அதிகம் செல்லுங்கள், குறைந்த வெகுமதியின் திசையில் குறைவாக செல்லுங்கள்." ஒற்றை பெரிய புதுப்பிப்பு மாதிரியைத் தடம்புரளச் செய்வதைத் தவிர்க்க, முக்கிய PPO அல்காரிதம் ஒவ்வொரு படியிலும் புதுப்பிப்பின் அளவைக் கிளிப்பிங் செய்கிறது (பின்னர் சோதனைகளில் குறிப்பிடப்பட்டுள்ள "PPO with value network" இதைக் குறிக்கிறது; மதிப்பு நெட்வொர்க் ஒரு அடிப்படை மதிப்பீட்டை மதிப்பிட்டு மிகவும் நுணுக்கமான அனுகூலத்தைக் கணக்கிடுகிறது); மற்றொரு முறையான GRPO, ஒரு மதிப்பு நெட்வொர்க்கைப் பயிற்றுவிக்காமல், ஒவ்வொன்றின் ஒப்பீட்டு தரத்தை மதிப்பிட "ஒரே சிக்கலுக்கான பல பதில்களுக்கு இடையேயான ஒப்பீட்டை" பயன்படுத்துகிறது. இந்த உள்ளுணர்வை மனதில் வைத்திருப்பது அடுத்த இரண்டு சோதனைகளைப் புரிந்துகொள்ள போதுமானது.

சோதனை 7-10 ★★: AdaptThink—"எப்போது சிந்திக்கக்கூடாது" என்பதைக் கற்றல்

பெரிய பகுத்தறிவு மாதிரிகள் (எ.கா., OpenAI o1, DeepSeek-R1) அனைத்து பிரச்சினைகளுக்கும் நீண்ட சிந்தனைச் சங்கிலியை (chain-of-thought) உருவாக்குகின்றன, இது எளிய பிரச்சினைகளில் தேவையற்ற சுமையை ஏற்படுத்துகிறது. இந்தச் சோதனை முதலில் ஒரு உள்ளுணர்வை சரிபார்க்கிறது: NoThinking முறை (<think></think> மூலம் சிந்தனையைத் தவிர்ப்பது) எளிய பிரச்சினைகளில் ஒப்பிடத்தக்கதாக அல்லது இன்னும் சிறப்பாக செயல்படுகிறது; கடினமான பிரச்சினைகளை எதிர்கொள்ளும்போதுதான் Thinking முறையின் நன்மை தெளிவாகிறது.

AdaptThink, மாதிரியானது தகவமைத்து முறையைத் தேர்ந்தெடுக்க RL ஐப் பயன்படுத்தி பயிற்றுவிக்கிறது. இரண்டு முக்கிய கூறுகள்:

கட்டுப்படுத்தப்பட்ட உகப்பாக்க இலக்கு (Constrained Optimization Objective): ஒட்டுமொத்த செயல்திறன் குறையாமல் இருப்பதை உறுதிசெய்யும் அதே வேளையில், NoThinking ஐ ஊக்குவிக்கிறது.

முக்கியத்துவம் மாதிரி உத்தி (Importance Sampling Strategy): குளிர் தொடக்கம் (Cold Start) பிரச்சினையைத் தீர்க்க Thinking/NoThinking மாதிரிகளை சமநிலைப்படுத்துகிறது (Cold Start, இங்கு குறிப்பாக ஆரம்ப மாதிரி எப்போதும் Thinking ஐத் தேர்ந்தெடுப்பதால், மிகக் குறைவான NoThinking கிளை மாதிரிகள் கிடைத்து கற்றல் கடினமாகும் பிரச்சினையைக் குறிக்கிறது; இது DeepSeek-R1 க்காக முன்பு குறிப்பிடப்பட்ட சில எடுத்துக்காட்டுகள் கொண்ட "cold-start SFT" என்பதிலிருந்து வேறுபட்ட பயன்பாட்டுச் சூழல்).

இங்கு குறிப்பிடப்பட்டுள்ள "முக்கியத்துவம் மாதிரி" (importance sampling) என்பது ஒரு பொதுவான புள்ளியியல் முறையாகும்—மாதிரி எடுக்கும் பரவல் ஒரு குறிப்பிட்ட வகை மாதிரிகளை நோக்கி சார்புடையதாக இருக்கும்போது, மாதிரிகளுக்கு எடைகள் பயன்படுத்தப்பட்டு பரவலை "சரிசெய்து", கற்றல் சமிக்ஞை அனைத்து வகைகளையும் நியாயமாக உள்ளடக்குவதை உறுதி செய்கிறது. இந்த யோசனை இந்த புத்தகத்தில் பின்னர் விவாதிக்கப்படும் PPO மற்றும் DAPO போன்ற RL அல்காரிதங்களில் மீண்டும் மீண்டும் பயன்படுத்தப்படுகிறது.

மதிப்பீட்டு முடிவுகள்: பல கணித அளவுகோல்களில், பதில் நீளம் 45%-64% குறைக்கப்பட்டது, அதே நேரத்தில் துல்லியம் குறையவில்லை மற்றும் மேம்படவும் செய்தது. மாதிரியானது பிரச்சினை பண்புகளின் அடிப்படையில் தேர்வுகளை செய்ய கற்றுக்கொள்கிறது: எளிய, நன்கு கட்டமைக்கப்பட்ட பிரச்சினைகளுக்கு நேரடியாக பதிலளிப்பது; பல-படி பகுத்தறிவு தேவைப்படும் கடினமான பிரச்சினைகளுக்கு முழுமையான சிந்தனைச் சங்கிலியைத் தக்கவைத்துக்கொள்வது; மற்றும் பார்த்திராத பணி வகைகளின் கடினத்தை சரியாக மதிப்பிடுவது.

விரைவு வடித்தல் (prompt distillation) உடன் நிரப்பியாக, இது ஒரு "வேக-மெதுவான இரட்டை அமைப்பை" (fast-slow dual system) உருவாக்குகிறது: வடித்தல் சிந்தனை தேவைப்படும் பணிகளின் விகிதத்தை குறைக்கிறது, அதே நேரத்தில் AdaptThink மீதமுள்ள பணிகளுக்கான தூண்டுதல் உத்தியை மேம்படுத்துகிறது, இவை இரண்டும் சேர்ந்து சிந்தனை திறனை அதிகரிக்கின்றன.

சோதனை 7-11 ★★: GeneralPoints—ஒற்றை-சுற்று RL இல் ஒரு "நினைவகம் மற்றும் பொதுமைப்படுத்தல்" ஒப்பீடு

GeneralPoints என்பது Chu et al. (2025, "SFT Memorizes, RL Generalizes," arXiv:2501.17161) ஆல் முன்மொழியப்பட்ட ஒரு எண்கணித பகுத்தறிவு அட்டை விளையாட்டு ஆகும், இது குறிப்பாக மாதிரி பொதுமைப்படுத்தலை மதிப்பிட வடிவமைக்கப்பட்டுள்ளது. பணி நோக்கம் "24 விளையாட்டு" போன்றது: நான்கு அட்டைகளில் உள்ள எண்களைப் பயன்படுத்தி, கூட்டல், கழித்தல், பெருக்கல் மற்றும் வகுத்தல் செயல்பாடுகள் மூலம், ஒவ்வொரு எண்ணையும் சரியாக ஒருமுறை பயன்படுத்தி, இலக்கு எண் 24 ஐ அடைவது. சோதனை இரண்டு வகைகளை வடிவமைக்கிறது: உரை-மட்டும் GP-L மற்றும் பட அடிப்படையிலான GP-VL, இவை ஒரே கட்டமைப்பிற்குள் விதி பொதுமைப்படுத்தல் மற்றும் காட்சி பொதுமைப்படுத்தல் ஆகியவற்றை ஆராய அனுமதிக்கின்றன.

விதி மாறுபாடு: பயிற்சியின் போது, J/Q/K அனைத்தும் 10 ஆக கணக்கிடப்படுகின்றன; சோதனையின் போது, அவை முறையே 11/12/13 ஆக கணக்கிடப்படுகின்றன, இதனால் சோதனைத் தொகுப்பில் பார்த்திராத எண் சேர்க்கைகள் (11, 12, 13 ஐ உள்ளடக்கிய செயல்பாடுகள்) இருப்பதால், பொதுமைப்படுத்தலை கண்டிப்பாக மதிப்பீடு செய்ய முடியும். காட்சி மாறுபாடு: பயிற்சி கருப்பு சூட்டுகளை (♠♣) பயன்படுத்துகிறது, சோதனை சிவப்பு சூட்டுகளை (♥♦) பயன்படுத்துகிறது, இது காட்சி தோற்றத்தில் ஏற்படும் மாற்றங்களுக்கான உறுதித்தன்மையை மதிப்பீடு செய்ய உதவுகிறது. Llama-3.2-Vision-11B அடிப்படையில், நிலையான பிந்தைய-பயிற்சி குழாய்வழியைப் பின்பற்றி: முதலில், SFT துவக்கம் அதற்கு அடிப்படை அறிவுறுத்தல்-பின்பற்றும் திறனை வழங்குகிறது; பின்னர், அதே கணக்கீட்டு வரவுசெலவுத் திட்டத்துடன், SFT மற்றும் RL பயிற்சியை தனித்தனியாக நீட்டிக்கவும் (RL பகுதி மதிப்பு நெட்வொர்க்குடன் PPO அல்காரிதத்தைப் பயன்படுத்துகிறது), ஒற்றை விதியை (J/Q/K=10) பயன்படுத்தும் தரவுகளுடன் பயிற்சி செய்து, உள்-விநியோக (ID) மற்றும் வெளி-விநியோக (OOD) சோதனைத் தொகுப்புகளில் மதிப்பீடு செய்யவும்.

முடிவுகள் அடிப்படை வேறுபாட்டை தெளிவாக வெளிப்படுத்துகின்றன. விதி OOD: GP-L இல் RL +3.5% முன்னேற்றம் (11.5%→15.0%), அதே நேரத்தில் SFT குறைகிறது 8.1% (11.5%→3.4%); GP-VL இல், RL +3.0% முன்னேற்றம், அதே நேரத்தில் SFT 5.6% குறைகிறது. காட்சி OOD: GP-VL இல் RL +17.6% முன்னேற்றம் (23.6%→41.2%), அதே நேரத்தில் SFT 9.9% குறைகிறது (23.6%→13.7%).

காட்சி அங்கீகார துல்லியத்தை கண்காணிப்பது, RL ஆனது விளைவு-சார்ந்த உகப்பாக்கத்தின் மூலம் அடிப்படை காட்சி குறியாக்கியை மேம்படுத்துகிறது என்பதை வெளிப்படுத்துகிறது, மேலும் இந்த முன்னேற்றம் ஒட்டுமொத்த செயல்திறன் ஆதாயங்களுடன் மிகவும் தொடர்புடையது; இதற்கு மாறாக, SFT ஆனது சிந்தனை செயல்முறையில் உள்ள டோக்கன் வடிவங்களுக்கு அதிகப் பொருத்தம் (overfit) அடைந்து, காட்சி டோக்கன்களின் கற்றலைப் புறக்கணித்து, அங்கீகார துல்லியத்தில் குறைவுக்கு வழிவகுக்கிறது.

சோதனையானது RL க்கு SFT இன் அவசியத்தையும் வெளிப்படுத்துகிறது: இந்த சோதனையின் அமைப்புகளின் கீழ் (Llama-3.2-Vision-11B அளவிலான அடிப்படை மாதிரி, மற்றும் கடுமையான கட்டமைக்கப்பட்ட வெளியீட்டுத் தேவைகள்), SFT இல்லாமல் நேரடியாக இறுதி-முதல்-இறுதி RL ஐ செயல்படுத்துவது முற்றிலும் தோல்வியடைகிறது—அடிப்படை மாதிரியால் கட்டமைக்கப்பட்ட வெளியீடுகளை உருவாக்க முடியாது, மேலும் வெகுமதிகளை கணக்கிடவே முடியாது. இது குறிப்பிட்ட அமைப்புகளின் கீழ் ஒரு முடிவு என்பதை நினைவில் கொள்ளவும், இது ஒரு உலகளாவிய விதி அல்ல: போதுமான வலுவான அடிப்படை மாதிரியானது SFT ஐத் தவிர்த்துவிட்டு நேரடி RL உடன் வெற்றிபெற முடியும் (DeepSeek-R1-Zero பற்றிய முந்தைய விவாதத்தைப் பார்க்கவும்). மற்றொரு குறிப்பிடத்தக்க கண்டுபிடிப்பு என்னவென்றால், அதிக சரிபார்ப்பு மறுமுறைகள் சிறந்த பொதுமைப்படுத்தலுக்கு வழிவகுக்கும்: 10 மறுமுறைகள் +5.99% எதிராக 1 மறுமுறை +0.48%, இது சிந்தனையின் போது கணக்கீட்டு அளவிடுதல் RL பொதுமைப்படுத்தலுக்கு முக்கியமானது என்பதைக் குறிக்கிறது.

விநியோக மாற்றத்தின் கீழ் SFT செயல்திறன் ஏன் சரிகிறது, அதே நேரத்தில் RL சிறப்பாக செயல்படுகிறது? SFT ஆனது "இந்த உள்ளீட்டைக் கொடுத்தால், அந்த பதிலை வெளியிடு" என்ற மேப்பிங்கைக் கற்றுக்கொள்கிறது: பயிற்சியின் போது, J/Q/K அனைத்தும் 10 ஆகும், எனவே மாதிரியானது "J/Q/K ஐ சந்திக்கும் போது, அவற்றை 10 ஆக கருது" என்ற நிலையான வடிவத்தை மனப்பாடம் செய்கிறது; சோதனையின் போது, J=11, ஆனால் மாதிரி இன்னும் அதை 10 ஆக கணக்கிடுகிறது, இயற்கையாகவே பிழைகள் ஏற்படுகின்றன. RL ஆனது "எந்த கணக்கீட்டு செயல்முறை சரியான பதிலை அளிக்கிறது" என்ற பொதுவான உத்தியைக் கற்றுக்கொள்கிறது: J 11 ஆக மாறும்போது, RL மாதிரியானது மனப்பாடம் செய்த பதிலைப் பயன்படுத்தாமல், அதே உத்தியைப் பயன்படுத்தி மீண்டும் கணக்கிடுகிறது. இதுவே "மனப்பாடம்" மற்றும் "பொதுமைப்படுத்தல்" ஆகியவற்றுக்கு இடையேயான அடிப்படை வேறுபாடு ஆகும்.

இந்தச் சோதனையின் முக்கிய பங்களிப்பு, "SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது" என்ற நிகழ்வை முறையாக அளவிடுவதும், இந்த விதி தூய மொழி மற்றும் பார்வை-மொழி முறைகள் இரண்டிலும் உண்மையென நிரூபிப்பதும் ஆகும். இது SFT மற்றும் RL இடையேயான ஒருங்கிணைப்பு உறவை வெளிப்படுத்துகிறது: SFT வடிவமைப்பு நிலைத்தன்மையை வழங்குகிறது, அதே நேரத்தில் RL இந்த அடிப்படையில் நினைவகத்தின் எல்லைகளை உடைக்கிறது; இரண்டும் இன்றியமையாதவை. சீன ஓவியத்திலிருந்து கடன் வாங்கப்பட்ட இந்த "முதலில் வடிவம், பின்னர் ஆவி" பயிற்சி முன்னுதாரணம்—முதலில் வெளிப்புற வடிவத்தை (வடிவம், கட்டமைப்பு) துல்லியமாக வரைந்து, பின்னர் உள் ஆவியை (பொதுமைப்படுத்தல், உத்தி) நாடுதல்—அடுத்தடுத்த பல-சுற்று, பல-முறை பணிகளுக்கு ஒரு முறையியல் அடித்தளத்தை அமைக்கிறது.

RLHF: மனித விருப்பங்களிலிருந்து வெகுமதி மாதிரிகள் வரை¶

முந்தைய சோதனைகள் அனைத்தும் ஒரு பொதுவான முன்நிபந்தனையைப் பகிர்ந்து கொள்கின்றன: பணிகள் சரிபார்க்கக்கூடிய சரியான தன்மையைக் கொண்டுள்ளன—சூத்திரம் சரியாக உள்ளதா அல்லது வடிவம் இணங்குகிறதா என்பதை ஒரு விதி அடிப்படையிலான சரிபார்ப்பாளர் மதிப்பெண் வழங்க முடியும். இருப்பினும், இன்று பயன்படுத்தப்படும் உரையாடல் மாதிரிகள், மற்றொரு, முன்னதாக முதிர்ச்சியடைந்த அணுகுமுறைக்கு நன்றி, "கண்ணியமான, பாதுகாப்பான உதவியாளர்கள்" போல் செயல்படுகின்றன: RLHF (மனித கருத்திலிருந்து வலுவூட்டல் கற்றல்). RLHF ஐப் புரிந்துகொள்வது, ChatGPT போன்ற தயாரிப்புகளின் உரையாடல் தரம் மற்றும் பாதுகாப்பு சீரமைப்பு எங்கிருந்து வருகிறது என்பதைப் புரிந்துகொள்வதற்கு முக்கியமானது, மேலும் பின்னர் விவாதிக்கப்படும் வழிமுறைகளில் KL அபராதம் மற்றும் வெகுமதி ஹேக்கிங் போன்ற கருத்துக்களைப் புரிந்துகொள்வதற்கும் ஒரு முன்நிபந்தனையாகும்.

InstructGPT இன் மூன்று-நிலை குழாய். OpenAI இன் InstructGPT[^ch7-4] இன்றும் பயன்பாட்டில் உள்ள நிலையான செயல்முறையை நிறுவியது:

SFT: முன்-பயிற்சி பெற்ற மாதிரியை மனிதர்களால் நிரூபிக்கப்பட்ட "அறிவுறுத்தல்-பதில்" ஜோடிகளில் நுண் சரிப்படுத்தி, அடிப்படை அறிவுறுத்தல்-பின்பற்றும் திறனை நிறுவுதல்—இது முந்தைய "SFT (மேற்பார்வை நுண் சரிப்படுத்தல்)" பிரிவில் விவாதிக்கப்பட்ட உள்ளடக்கமாகும்.
வெகுமதி மாதிரியை (RM) பயிற்றுவித்தல்: அதே தூண்டுதலுக்கு, மாதிரி பல பதில்களை உருவாக்கச் செய்து, மனித குறிப்பாளர்கள் அவற்றை ஜோடியாக ஒப்பிட்டு, எதை விரும்புகிறார்கள் என்பதைக் குறிப்பிடுகிறார்கள். இந்த விருப்ப ஜோடிகளைப் பயன்படுத்தி ஒரு மதிப்பெண் மாதிரியைப் பயிற்றுவிக்கவும், பயிற்சி நோக்கம் பிராட்லி-டெர்ரி மாதிரியை அடிப்படையாகக் கொண்டது:

$$\mathcal{L}_{\text{RM}} = -\log \sigma\big(r(x, y_w) - r(x, y_l)\big)$$

இங்கு $y_w$ என்பது விருப்பமான பதில், $y_l$ என்பது நிராகரிக்கப்பட்ட பதில், மற்றும் $\sigma$ என்பது சிக்மாய்டு சார்பு ஆகும். உள்ளுணர்வு மிகவும் எளிமையானது: RM விருப்பமான பதிலுக்கு அதிக மதிப்பெண் வழங்க வேண்டும். மதிப்பெண்களை விட ஒப்பீடுகளை சேகரிப்பதற்கான காரணம், மனிதர்கள் தொடர்ச்சியாக முழுமையான மதிப்பெண்களை வழங்குவது கடினம் ("இந்த பதில் 7.3 மதிப்பெண்களுக்கு தகுதியானது" என்பதை சீராக மதிப்பிடுவது கிட்டத்தட்ட சாத்தியமற்றது), ஆனால் "எது சிறந்தது, A அல்லது B" போன்ற தீர்ப்புகள் மிகவும் நம்பகமானவை. "வெகுமதி மாதிரியின்" பங்கை நினைவில் கொள்ளுங்கள்—இது இந்த அத்தியாயத்தில் ஒரு தொடர்ச்சியான கருப்பொருள்: இங்கே, இது மனித விருப்பங்களிலிருந்து கற்றுக்கொள்ளப்பட்ட ஒரு மதிப்பீட்டாளர்; வெகுமதி வடிவமைப்பு பற்றிய பிரிவு 7.10-க்கு வரும்போது, அதன் பல்வேறு வடிவங்களை (இறுதி முடிவை மட்டுமே பார்க்கும் ORM, படிப்படியாக மதிப்பெண் வழங்கும் PRM, இயற்கை மொழியில் காரணத்தை வழங்கும் உருவாக்க வெகுமதி மாதிரிகள்) மற்றும் ஒரு சிறப்பு நிகழ்வை—சரியான தன்மையை விதிகள் மூலம் நேரடியாக தீர்மானிக்க முடியும்போது, "வெகுமதி மாதிரி" வெறுமனே ஒரு உறுதியான குறியீடாக சிதைந்துவிடும் (இதுதான் கீழே விவாதிக்கப்பட்ட RLVR ஆகும்) நீங்கள் காண்பீர்கள். அவை அனைத்தும் ஒரே கேள்விக்கு பதிலளிக்கின்றன: வெகுமதி எங்கிருந்து வருகிறது? 3. PPO-க்கு RM மதிப்பெண்களைப் பயன்படுத்தவும்: RM இன் மதிப்பெண்ணை வெகுமதி சமிக்ஞையாகப் பயன்படுத்தி, SFT மாதிரியில் PPO பயிற்சியை மேற்கொள்ளவும் (PPO இன் வழிமுறை அடுத்த பகுதியில் விளக்கப்பட்டுள்ளது), இது RM "மனிதர்கள் விரும்புவார்கள்" என்று நம்பும் பதில்களை உருவாக்க மாதிரியைக் கற்றுக்கொள்ள உதவுகிறது.

KL அபராதம்: தொடக்கப் புள்ளியிலிருந்து வெகுதூரம் விலகிச் செல்ல வேண்டாம் (KL வேறுபாட்டை முழுமையாக விளக்குதல்). RLHF-இல், மாதிரி உண்மையில் மேம்படுத்தும் வெகுமதி பொதுவாக RM மதிப்பெண் அல்ல, மாறாக அதிலிருந்து கழிக்கப்படும் ஒரு அபராதச் சொல்:

\[r = r_{\text{RM}} - \beta \cdot \mathrm{KL}\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big)\]

இந்த ஒற்றை சூத்திரம் ஆரம்பநிலையாளர்களிடமிருந்து நான்கு பொதுவான கேள்விகளை எழுப்புகிறது, அவற்றை ஒவ்வொன்றாகப் பார்ப்போம்.

(1) KL வேறுபாடு என்றால் என்ன, அபராதம் எங்கு பயன்படுத்தப்படுகிறது? KL வேறுபாடு (Kullback-Leibler Divergence) இரண்டு நிகழ்தகவு பரவல்களுக்கு இடையிலான வேறுபாட்டை அளவிடுகிறது: பரவல்கள் ஒத்திருந்தால், KL சிறியதாக இருக்கும், ஒரே மாதிரியாக இருந்தால் 0-ஐ அடையும்; வேறுபட்டால், KL பெரியதாக இருக்கும். இங்குள்ள இரண்டு பரவல்கள், ஒரே முந்தைய சூழலைக் கொடுக்கும்போது "அடுத்த டோக்கன் நிகழ்தகவு பரவலுக்கான" தற்போதைய கொள்கை $\pi_\theta$ (பயிற்சி பெறும் மாதிரி) மற்றும் குறிப்பு கொள்கை $\pi_{\text{ref}}$ (பயிற்சி தொடக்கப் புள்ளி, பொதுவாக SFT மாதிரி) ஆகும். $\beta$ அபராத வலிமையைக் கட்டுப்படுத்துகிறது—இது பயிற்சி ஸ்கிரிப்ட்களில் பொதுவாகக் காணப்படும் kl_coef ஹைப்பர்பாராமீட்டர் ஆகும். பொறியியல் அடிப்படையில், இந்த அபராதம் ஒவ்வொரு டோக்கனுக்கும் கணக்கிடப்பட்டு வெகுமதியில் சேர்க்கப்படுகிறது (ஒரு டோக்கனுக்கான KL): மாதிரி ஒவ்வொரு முறை ஒரு டோக்கனை உருவாக்கும்போதும், அந்த நிலையில் உள்ள நிகழ்தகவு வேறுபாட்டை குறிப்பு மாதிரியுடன் ஒப்பிடுகிறது; அதிக விலகல், அந்த படிக்கான வெகுமதி அதிகமாக அபராதம் விதிக்கப்படுகிறது. வேறு வார்த்தைகளில் கூறுவதானால், KL என்பது ஒரு தனி இழப்புச் சொல் அல்ல, மாறாக வெகுமதி சமிக்ஞையில் கலக்கப்படுகிறது, இது பின்னர் PPO/GRPO இன் நன்மை கணக்கீட்டின் வழியாக செல்கிறது—இதுதான் அது செயல்படும் சரியான புள்ளியாகும்.

(2) "தற்போதைய கொள்கை முதலில், குறிப்பு கொள்கை இரண்டாவதாக" என்ற திசை ஏன்? KL வேறுபாடு சமச்சீரற்றது, $\mathrm{KL}(P\|Q)\neq\mathrm{KL}(Q\|P)$, எனவே திசை தன்னிச்சையானது அல்ல. இங்கே அது $\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$ என எழுதப்பட்டுள்ளது—தற்போதைய கொள்கை முதலில்—இது கணித ரீதியாக தலைகீழ் KL (reverse KL) என அழைக்கப்படுகிறது. இது "$\pi_\theta$ எங்காவது அதிக நிகழ்தகவை ஒதுக்குகிறது, அதே நேரத்தில் $\pi_{\text{ref}}$ அங்கு பூஜ்ஜியத்திற்கு அருகில் நிகழ்தகவை ஒதுக்குகிறது" போன்ற சூழ்நிலைகளை தண்டிக்கிறது, அதாவது, குறிப்பு மாதிரி செல்லக் கூடாது என்று நினைக்கும் இடங்களுக்கு மாதிரி செல்வதை தண்டிக்கிறது. இதுவே நமக்குத் தேவையானது: குறிப்பு மாதிரி (SFT மாதிரி) "இயற்கையாகவும் சாதாரண வடிவத்திலும் பேசுதல்" என்ற பாதுகாப்பான மண்டலத்தைக் குறிக்கிறது, மேலும் தலைகீழ் KL தற்போதைய கொள்கையை இந்த பாதுகாப்பான மண்டலத்திற்கு அருகில் வைத்து, அது கட்டுப்பாடின்றி அலைவதைத் தடுக்கிறது. அதற்குப் பதிலாக முன்னோக்கி KL (forward KL) $\mathrm{KL}(\pi_{\text{ref}}\|\pi_\theta)$ ஐப் பயன்படுத்தினால், அது "குறிப்பு மாதிரியில் உள்ள, ஆனால் தற்போதைய மாதிரியில் இல்லாத" வடிவங்களை தண்டிக்கும்—இது மாதிரியை குறிப்பு மாதிரியின் அனைத்து வெளிப்பாட்டு பாணிகளையும் உள்ளடக்கும்படி கட்டாயப்படுத்தும், இது RLHF இன் நோக்கம் அல்ல.

(3) இது ஏன் இவ்வாறு வடிவமைக்கப்பட்டுள்ளது?—முறை-தேடலின் தோற்றம். தலைகீழ் KL ஒரு முக்கிய பண்பைக் கொண்டுள்ளது: இது முறை-தேடும் (mode-seeking) தன்மை கொண்டது. பகுதி 7.1 இதற்கான அடித்தளத்தை அமைத்தது—தலைகீழ் KL மாதிரியை சில உயர்-வெகுமதி "முறைகளை" மட்டும் தக்கவைத்து, மீதமுள்ளவற்றை உறுதியாக நிராகரிக்க அனுமதிக்கிறது, SFT இன் அதிகபட்ச சாத்தியக்கூறு (mass-covering) போல எல்லாவற்றையும் சமமாக உள்ளடக்க வேண்டிய அவசியமில்லை. RLHF இன் சூழலில், இதுவே நமக்குத் தேவையான விளைவு: RM ஆல் அங்கீகரிக்கப்பட்ட ஒன்று அல்லது இரண்டு உயர் மதிப்பெண் பதில் பாணிகளைத் தேர்ந்தெடுத்து அவற்றை நிலையாக வெளியிடுவது, சாத்தியமான அனைத்து பதில்களையும் கற்றுக்கொள்வதற்குப் பதிலாக. RL க்குப் பிறகு மாதிரிகள் ஏன் அதிக "உறுதியானவை" மற்றும் குறைந்த பன்முகத்தன்மை கொண்டவை என்பதையும் இது விளக்குகிறது. தலைகீழ் KL இன் முறை-தேடும் பண்பு மற்றும் மாதிரியை குறிப்பு பரவலுக்கு அருகில் வைத்திருப்பது ஆகியவற்றின் கலவையே RLHF இன் நிலைத்தன்மைக்கான ரகசியமாகும்.

(4) இது இல்லாமல் என்ன நடக்கும்? உள்ளுணர்வு எளிதானது: தொடக்கப் புள்ளியிலிருந்து வெகுதூரம் விலகிச் செல்லாதீர்கள், இல்லையெனில் வெகுமதி மாதிரியின் மதிப்பெண்கள் நம்பகத்தன்மையற்றதாக மாறும். RM ஆனது குறிப்பு கொள்கைக்கு அருகிலுள்ள வெளியீட்டு பரவலில் பயிற்சியளிக்கப்படுகிறது. மாதிரி RM ஒருபோதும் பார்க்காத ஒரு பரவலுக்கு உகந்ததாக்கப்பட்டவுடன், RM இன் மதிப்பெண்கள் அடிப்படையற்ற வெளிப்புற மதிப்பீடாக (extrapolation) மாறும், மேலும் அதிக மதிப்பெண்கள் உயர் தரத்திற்கு சமமாக இருக்காது. எனவே, KL தண்டனை ஒரே நேரத்தில் இரண்டு விஷயங்களைத் தடுக்கிறது: வெகுமதி ஹேக்கிங் (reward hacking—மாதிரி வெகுமதியில் உள்ள ஓட்டைகளைப் பயன்படுத்தி பணியைச் சரியாகச் செய்யாமல் அதிக மதிப்பெண்களைப் பெறுதல், அடுத்த பத்தியைப் பார்க்கவும்) மற்றும் பரவல் சரிவு (distribution collapse—வெளியீடுகள் மீண்டும் மீண்டும் வருதல் அல்லது அர்த்தமற்ற சொற்கள் போன்ற தீவிர வடிவங்களில் சிதைதல்). சரிபார்க்கக்கூடிய வெகுமதிகளுடன் கூடிய RLVR பயிற்சியில் கூட, KL ஒழுங்குபடுத்தல் பெரும்பாலும் பயிற்சியை நிலைப்படுத்த தக்கவைக்கப்படுகிறது (DAPO மற்றும் Open-Reasoner-Zero போன்ற சில படைப்புகள் வேண்டுமென்றே அதை நீக்குகின்றன—DeepSeek-R1-Zero இன் GRPO தானாகவே இன்னும் தெளிவாக ஒரு KL உறுப்பை உள்ளடக்கியுள்ளது என்பதைக் கவனிக்கவும்).

வெகுமதி மாதிரிகள் "அதிக மேம்படுத்தப்படலாம்." RM என்பது, இறுதியில், மனித விருப்பங்களின் ஒரு பதிலி குறிகாட்டி மட்டுமே. குட்ஹார்ட்டின் விதி கூறுகிறது: ஒரு அளவீடு மேம்படுத்தல் இலக்காக மாறும்போது, அது ஒரு நல்ல அளவீடாக இருப்பதை நிறுத்திவிடுகிறது—பதிலியை உச்சநிலைகளுக்குத் தள்ளுவது உண்மையான நோக்கத்துடனான அதன் தொடர்பை சிதைக்கிறது. OpenAI இன் ஆராய்ச்சி[^ch7-5] இந்த வெகுமதி மாதிரி அதிக மேம்படுத்தல் நிகழ்வை முறையாக அளவிட்டது: RL பயிற்சி முன்னேறும்போது, பதிலி வெகுமதி (RM மதிப்பெண்) ஒரே சீராக அதிகரிக்கிறது, அதே நேரத்தில் உண்மையான தரம் (மனித மதிப்பீடு) முதலில் உயர்ந்து பின்னர் குறைகிறது. மாதிரி படிப்படியாக "சிறப்பாக பதிலளிக்க" கற்றுக்கொள்வதில்லை, மாறாக "RM அதிக மதிப்பெண் வழங்கும்படி செய்ய" கற்றுக்கொள்கிறது—விரிவான, இச்சகம் பேசும், வெளித்தோற்றத்தில் கடுமையான ஆனால் வெற்றுப் பேச்சு. இதுவே RLHF சூழலில் வெகுமதி ஹேக்கிங்கின் குறிப்பிட்ட வடிவமாகும், மேலும் KL அபராதம் மற்றும் ஆரம்பகால நிறுத்தம் ஆகியவை மிகவும் பொதுவான தணிப்பு முறைகள்; இந்த அத்தியாயத்தின் இறுதியில் உள்ள "பொதுவான குறைபாடுகள்" பிரிவில் உள்ள வெகுமதி ஹேக்கிங் பிரச்சனை அதே தோற்றத்தைக் கொண்டுள்ளது.

DPO: வெளிப்படையான வெகுமதி மாதிரியைத் தவிர்த்தல். DPO (Direct Preference Optimization)[^ch7-6] ஒரு அடிப்படைக் கருதுகோளில் இருந்து தொடங்குகிறது: "RM பயிற்சி + PPO" ஆகியவற்றின் கலவையானது இறுதியில் "விருப்பமான பதில்களின் நிகழ்தகவை அதிகரித்து, நிராகரிக்கப்பட்ட பதில்களின் நிகழ்தகவைக் குறைத்து, அதே நேரத்தில் குறிப்பு மாதிரியிலிருந்து அதிகம் விலகிச் செல்லாமல் இருப்பதில்" விளைவதால், வெளிப்படையான RM ஐத் தவிர்த்துவிட்டு, விருப்ப இணைகளை ஒரு மறைமுக வெகுமதியுடன் கூடிய வகைப்பாடு இழப்பாக நேரடியாக மாற்றுவது ஏன் கூடாது? கணித ரீதியாக, இது KL கட்டுப்பாட்டுடன் கூடிய ஆஃப்லைன் விருப்ப மேம்படுத்தலுக்குச் சமமானது என்பதை நிரூபிக்க முடியும், அங்கு வெகுமதி மாதிரியானது கொள்கையிலேயே மறைமுகமாக உட்பொதிக்கப்பட்டுள்ளது. DPO பயிற்சி SFT போலவே எளிதானது: ஆன்லைன் மாதிரி எடுத்தல் இல்லை, மதிப்பு நெட்வொர்க் இல்லை, தனி RM ஐ பராமரிக்க வேண்டிய அவசியமில்லை. இதன் விலை என்னவென்றால், இது முற்றிலும் ஆஃப்லைன் ஆகும்—இது விருப்பத் தரவுகளுக்கு அப்பால் புதிய நடத்தைகளை ஆராய முடியாது, மேலும் அதன் செயல்திறன் உச்சவரம்பு விருப்பத் தரவின் தரம் மற்றும் விரிவடைதலால் தீர்மானிக்கப்படுகிறது.

RLHF மற்றும் RLVR இடையேயான உறவு. சுருக்கமாக, இரண்டு அணுகுமுறைகளுக்கும் இடையேயான வேறுபாடு வெகுமதி எங்கிருந்து வருகிறது என்பதில் உள்ளது: RLHF இன் வெகுமதி கற்றறிந்த RM (மனித விருப்பத் தரவுகளால் ஆதரிக்கப்படும்) இலிருந்து வருகிறது, அதே நேரத்தில் RLVR (Reinforcement Learning with Verifiable Rewards) ஒரு விதி அடிப்படையிலான சரிபார்ப்பியை (சோதனையில் தேர்ச்சி பெற்றதா, பதில் சரியானதா) பயன்படுத்துகிறது. ஏஜெண்ட் பணிகள் பெரும்பாலும் சரிபார்க்கக்கூடியவையாக இருக்கும்—இதனால்தான் இந்த அத்தியாயம் RLVR ஐ மைய இழையாகக் கொண்டு கவனம் செலுத்துகிறது. இருப்பினும், இது ஒன்றைத் தேர்ந்தெடுப்பது அல்லது மற்றொன்றைத் தேர்ந்தெடுப்பது பற்றியது அல்ல; நடைமுறையில் பயன்படுத்தப்படும் மாதிரிகள் இவற்றை இணைந்து பயன்படுத்துகின்றன: RLHF உரையாடல் தரம் மற்றும் பாதுகாப்பு சீரமைப்பைக் கையாள்கிறது, அதே நேரத்தில் RLVR பகுத்தறிவு மற்றும் ஏஜெண்ட் திறன்களைக் கையாள்கிறது. பின்னர் விவாதிக்கப்படும் "வெகுமதி முன்னுதாரணங்களின் பரிணாமம்" பிரிவு, உருவாக்கும் வெகுமதி மாதிரிகளைப் பற்றி விவாதிக்கிறது, இவை இந்த இரண்டு வரிகளின் சங்கமமாகக் காணப்படலாம்—விதிகள் மூலம் மறைக்க முடியாத திறந்த முனை பணிகளைக் கையாள பயிற்சியளிக்கக்கூடிய வெகுமதி மாதிரியைப் பயன்படுத்துதல்.

வலுவூட்டல் கற்றல் வழிமுறைகளின் ஒப்பீடு¶

முந்தைய ஒற்றை-சுற்று சோதனைகள், RL-இன் பொதுமைப்படுத்தல் நன்மையை நிரூபித்தன, மேலும் முந்தைய பகுதி RLHF-இன் விருப்ப மேம்படுத்தல் அணுகுமுறையை அறிமுகப்படுத்தியது. இருப்பினும், இந்த படைப்புகளில் பயன்படுத்தப்படும் குறிப்பிட்ட வழிமுறைகள் மாறுபடுகின்றன, மேலும் அவை பல விருப்பங்களில் ஒரு துணைக்குழு மட்டுமே. மிகவும் சிக்கலான பல-சுற்று பணிகளுக்குச் செல்வதற்கு முன், முக்கிய வழிமுறைகளின் பண்புகள் மற்றும் பொருந்தக்கூடிய சூழ்நிலைகளை முறையாக மதிப்பாய்வு செய்வது அவசியம்.

முதலில், மிக முக்கியமான விஷயம், வாசகர்கள் சூத்திரங்களில் தொலைந்து போகாமல் இருக்க. இந்தப் பகுதி சில வழிமுறைப் பெயர்களையும் சூத்திரங்களையும் பட்டியலிடுகிறது, ஆனால் இந்த அத்தியாயத்தின் இரண்டாவது முக்கிய கருப்பொருளை நினைவில் கொள்ளுங்கள்: தொழில்துறையில், ஆயத்த RL வழிமுறைகள் (PPO, GRPO, போன்றவை) இருப்பதால், அவற்றை எவ்வாறு பயன்படுத்துவது மற்றும் சரியானதைத் தேர்ந்தெடுப்பது என்பதை அறிந்தால் போதும்; வெற்றி அல்லது தோல்வியை உண்மையில் தீர்மானிப்பது தரவு மற்றும் சூழல், வழிமுறை அல்ல. இந்த வழிமுறைகள் ஏற்கனவே veRL மற்றும் TRL போன்ற முதிர்ந்த கட்டமைப்புகளில் பொதிந்துள்ளன; அவற்றை அழைப்பது பொதுவாக சில வரி உள்ளமைவுகளை மாற்றுவதை மட்டுமே உள்ளடக்குகிறது. எனவே, இந்தப் பகுதியின் நோக்கம் சூத்திரங்களின் வருவிப்புகளைக் கற்பிப்பதல்ல, மாறாக "எந்த சூழ்நிலைக்கு எந்த வழிமுறை" என்ற தேர்வு வரைபடத்தை உங்களுக்கு வழங்குவதாகும்; சூத்திரப் பகுதிகள் (பயிற்சி பொறியாளர்களை இலக்காகக் கொண்டவை) புரியவில்லை என்றால் தவிர்க்கலாம், இது அடுத்தடுத்த வாசிப்பைப் பாதிக்காது. அடுத்த பகுதி நேரடியாக "தரவு மற்றும் சூழல் ஏன் வழிமுறைகளை விட முக்கியமானது" என்பதை விளக்கும்.

படம் 7-13: GRPO வழிமுறை ஓட்டம்

நவீன LLM ஏஜெண்டுகளுக்கான RL காட்சி, பாரம்பரிய RL-இலிருந்து அடிப்படையில் வேறுபடுகிறது—ஏஜெண்டுகள் பயனர் நோக்கத்தைப் புரிந்துகொள்ள வேண்டும், கருவிகளை அழைக்க வேண்டும், கட்டமைக்கப்பட்ட வெளியீடுகளை உருவாக்க வேண்டும், மேலும் பல உரையாடல் சுற்றுகளில் நீண்ட சங்கிலி பகுத்தறிவில் ஈடுபட வேண்டும். இந்த பல-நோக்கம், பல-நிலை முடிவெடுப்பது என்பது "சரியான வழிமுறையைத் தேர்ந்தெடுப்பது" சில தாக்கத்தை ஏற்படுத்தும், ஆனால் தரவு மற்றும் சூழலை விட மிகக் குறைவு.

செயலாக்கக் கண்ணோட்டத்தில், RL வழிமுறைகள் ஆன்லைன் ஆய்வு முறைகள் (சூழலுடன் தொடர்புகொள்வதன் மூலம் புதிய உத்திகளை ஆராய்தல்) மற்றும் ஆஃப்லைன் மேம்படுத்தல் முறைகள் (தற்போதுள்ள தரவின் அடிப்படையில் மேம்படுத்துதல், மிகவும் நிலையான மற்றும் நேரடியானது) என பிரிக்கப்படுகின்றன. இங்கே, நாங்கள் முன்பு வாக்குறுதியளித்த கடுமையான சொற்களையும் வழங்குகிறோம்: ஆன்-பாலிசி முறைகள், தற்போதைய கொள்கையால் புதிதாக மாதிரி எடுக்கப்பட்ட தரவை மட்டுமே தன்னைப் புதுப்பிக்கப் பயன்படுத்துகின்றன; ஆஃப்-பாலிசி முறைகள், மற்ற கொள்கைகளால் (அல்லது கொள்கையின் பழைய பதிப்புகளால்) உருவாக்கப்பட்ட தரவைக் கற்றலுக்குப் பயன்படுத்தலாம் (முன்பு குறிப்பிடப்பட்ட Q-கற்றல் போன்றவை). இந்த அத்தியாயத்தில் விவாதிக்கப்பட்ட முறைகளை இந்த வரையறையுடன் சீரமைத்தல்: SFT என்பது ஆஃப்-பாலிசி பின்பற்றுதல் கற்றல்—தரவு ஒரு ஆசிரியர் அல்லது மனித செயல்விளக்கங்களிலிருந்து வருகிறது, மாதிரியிலிருந்து அல்ல; LLM பயிற்சிக்குப் பயன்படுத்தப்படும் PPO மற்றும் GRPO-வின் நிலையான வடிவங்கள் ஆன்-பாலிசி ஆகும்—ஒவ்வொரு சுற்றும் தற்போதைய மாதிரியால் புதிதாக மாதிரி எடுக்கப்பட்ட ரோல்அவுட்களைப் (அதாவது, மாதிரியை முழு பணியையும் ஒருமுறை இயக்கச் செய்து, தொடக்கத்திலிருந்து இறுதி வரை ஒரு முழுமையான பாதையை உருவாக்குதல்) புதுப்பிக்கப் பயன்படுத்துகிறது; DPO என்பது ஆஃப்லைன் விருப்ப மேம்படுத்தல் ஆகும், இதில் ஆன்லைன் மாதிரி எடுத்தல் அல்லது கடுமையான கொள்கை மறுசெய்கை எதுவும் இல்லை.

இந்த அல்காரிதம்கள் பெரும்பாலும் பாலிசி கிரேடியன்ட் (Policy Gradient) என்ற ஒரே கருத்தின் அடிப்படையில் கட்டமைக்கப்பட்டுள்ளன: "எதிர்பார்க்கப்படும் வருவாயை அதிகரிக்கும்" திசையில் பாலிசி அளவுருக்கள் $\theta$ ஐ சரிசெய்வது. இதன் மிக அடிப்படை வடிவம் (REINFORCE) பின்வருமாறு:

\[\nabla_\theta J(\theta) = \mathbb{E}\big[\nabla_\theta \log \pi_\theta(a \mid s)\, G\big]\]

இங்கு $\pi_\theta(a\mid s)$ என்பது பாலிசி (நிலை $s$ இல் $a$ செயலைத் தேர்ந்தெடுப்பதற்கான நிகழ்தகவு), மற்றும் $G$ என்பது இந்தப் பாதைக்கான (அல்லது அந்தப் படிநிலையிலிருந்து முன்னோக்கி) ஒட்டுமொத்த வருவாயாகும்—வருவாய் அதிகமாக இருந்தால், அந்தச் செயலின் நிகழ்தகவு அதிகமாக வலுப்படுத்தப்படும். முழுப் பாதையின் வருவாய் $G$ ஐ எடையாகப் பயன்படுத்துவது பக்கச்சார்பற்றது (unbiased) ஆனால் அதிக மாறுபாட்டைக் (variance) கொண்டுள்ளது; எனவே, ஒரு அடிப்படை $b$ (baseline) அறிமுகப்படுத்தப்பட்டு, மாறுபாட்டைக் குறைக்க அட்வான்டேஜ் $\hat{A}=G-b$ (இந்தச் செயல் சராசரியை விட எவ்வளவு சிறந்தது) எடையாகப் பயன்படுத்தப்படுகிறது. அதைத் தொடர்ந்து வரும் PPO மற்றும் GRPO ஆகியவை, "அட்வான்டேஜ் $\hat{A}$ ஐ எவ்வாறு நிலையாக மதிப்பிட்டுப் பயன்படுத்துவது" என்பதில் இரண்டு வகையான மேம்பாடுகளாகும்.

PPO ஒவ்வொரு படிநிலையிலும் புதுப்பிப்பின் அளவைக் கட்டுப்படுத்த "கிளிப்பிங்" (clipping) ஐப் பயன்படுத்துகிறது, இது பாலிசி ஒரே முறையில் அதிக தூரம் விலகிச் செல்வதைத் தடுக்கிறது:

\[L^{\text{CLIP}}(\theta) = \mathbb{E}\Big[\min\big(\rho\,\hat{A},\ \operatorname{clip}(\rho,\, 1-\epsilon,\, 1+\epsilon)\,\hat{A}\big)\Big],\quad \rho = \frac{\pi_\theta(a\mid s)}{\pi_{\theta_{\text{old}}}(a\mid s)}\]

இங்கு $\rho$ என்பது புதிய மற்றும் பழைய பாலிசிகளுக்கு இடையேயான நிகழ்தகவு விகிதமாகும், மற்றும் $\epsilon$ (எ.கா., 0.2) ஒரு படிநிலைக்கான சரிசெய்தல் வரம்பைக் கட்டுப்படுத்துகிறது; பின்னர் குறிப்பிடப்படும் "Clip-Higher" குறிப்பாக மேல் வரம்பான $1+\epsilon$ ஐ தளர்த்துகிறது.

GRPO மதிப்பு வலையமைப்பை (value network) நீக்குகிறது (இது PPO இல் பாதையில் உள்ள ஒவ்வொரு படிநிலைக்கும் மதிப்புச் சார்பை மதிப்பிடுவதற்கும், அதன் மூலம் நுணுக்கமான அட்வான்டேஜ்களைக் கணக்கிடுவதற்கும் கூடுதலாகப் பயிற்றுவிக்கப்படும் ஒரு துணை நரம்பியல் வலையமைப்பு) மற்றும் அதற்குப் பதிலாக அட்வான்டேஜ்களை மதிப்பிட "குழுவிற்குள் ஒப்பீட்டு ஒப்பீடு" (intra-group relative comparison) ஐப் பயன்படுத்துகிறது: ஒரே சிக்கலுக்கு, $N$ பாதைகளை மாதிரி எடுத்து $r_1,\dots,r_N$ வருவாய்களைப் பெறவும், மேலும் ஒவ்வொரு பாதையின் அட்வான்டேஜையும் குழுவிற்குள் அதன் ஒப்பீட்டு செயல்திறனாக வரையறுக்கவும்:

\[\hat{A}_i = \frac{r_i - \operatorname{mean}(r_1,\dots,r_N)}{\operatorname{std}(r_1,\dots,r_N)}\]

அதாவது, "குழு சராசரியை விட சிறப்பாக இருந்தால் நேர்மறை, மோசமாக இருந்தால் எதிர்மறை"—மதிப்பு வலையமைப்பு தேவையில்லை. இதனால்தான் இது மலிவானது. குறிப்பு: மேலே உள்ள சூத்திரம் KL வழக்கமாக்கல் சொல்லை (KL regularization term) தவிர்க்கிறது; உண்மையான பயிற்சியில், முந்தைய பகுதியில் அறிமுகப்படுத்தப்பட்ட ஒவ்வொரு டோக்கனுக்குமான KL அபராதம் (per-token KL penalty) பொதுவாகச் சேர்க்கப்பட்டு, பாலிசியை குறிப்பு மாதிரிக்கு (reference model) அருகில் கட்டுப்படுத்துகிறது.

அட்டவணை 7-4 முக்கிய முறைகளின் மையப் பண்புகளைச் சுருக்கமாகக் காட்டுகிறது. படிக்கும்போது, அடிக்கடி குழப்பப்படும் இரண்டு விஷயங்களை வேறுபடுத்திப் பார்க்கவும்: வெகுமதி எங்கிருந்து வருகிறது (விதி சரிபார்ப்பான், கற்ற வெகுமதி மாதிரி, அல்லது மனித விருப்பத் தரவு) மற்றும் உகப்பாக்கத்திற்கு எந்த அல்காரிதம் பயன்படுத்தப்படுகிறது. PPO மற்றும் GRPO ஆகியவை வெகுமதி மூலத்தைப் பற்றி விருப்பமுள்ளவை அல்ல—அவை ஒரு விதி சரிபார்ப்பானுடன் (RLVR) அல்லது ஒரு வெகுமதி மாதிரியுடன் (RLHF) இணைக்கப்படலாம்; அவற்றின் உண்மையான வேறுபாடு அட்வான்டேஜ் மதிப்பீட்டு முறையில் (மதிப்பு வலையமைப்பு எதிராக குழு-ஒப்பீட்டு அடிப்படை) உள்ளது.

அட்டவணை 7-4 பிந்தைய-பயிற்சி மற்றும் அனுமான-நேர உகப்பாக்க முறைகளின் ஒப்பீடு

முறை	வகை	மையக் கருத்து	நன்மை	தீமை	பொருந்தும் சூழ்நிலை
REINFORCE	நிகழ்நிலை RL அல்காரிதம்	முழுப் பாதையின் இறுதி வெகுமதியைப் பயன்படுத்தி கொள்கையைப் புதுப்பிக்கிறது	செயல்படுத்த எளிதானது	அதிக மாறுபாடு, நிலையற்ற பயிற்சி	கோட்பாட்டு அடிப்படை; அதன் அசல் வடிவத்தில் அரிதாகவே நேரடியாகப் பயன்படுத்தப்படுகிறது, ஆனால் அடிப்படைகளுடன் கூடிய அதன் மாறுபாடுகள் (RLOO, REINFORCE++, போன்றவை) தற்போதைய முக்கிய நீரோட்டத்தில் உள்ளன; GRPO என்பது அடிப்படையில் ஒரு குழு-சார்பு அடிப்படையுடன் கூடிய REINFORCE ஆகும்
PPO	நிகழ்நிலை RL அல்காரிதம்	கொள்கை "தடம் மாறாமல்" இருக்க ஒரு படிக்கான புதுப்பிப்பின் அளவைக் கட்டுப்படுத்துகிறது	நிலையானது; மதிப்பு வலையமைப்பு நுணுக்கமான கடன் ஒதுக்கீட்டை வழங்குகிறது	மதிப்பு வலையமைப்பின் கூடுதல் பயிற்சி மற்றும் சேமிப்பு தேவை; ஹைப்பர்பாராமீட்டர்களுக்கு உணர்திறன்	பல-திருப்ப ஏஜெண்டுகள், நீண்ட-பாதை கடன் ஒதுக்கீடு
GRPO	நிகழ்நிலை RL அல்காரிதம்	ஒரே சிக்கலுக்கு பல பாதைகளை மாதிரி எடுத்து, குழுவிற்குள் "எது சிறந்தது" என ஒப்பிடுகிறது	மதிப்பு வலையமைப்பு தேவையில்லை, குறைந்த செலவு	நன்மை முழு பதில் முழுவதும் சராசரியாக்கப்படுகிறது, இது கரடுமுரடான கடன் ஒதுக்கீட்டிற்கு வழிவகுக்கிறது; குழுவிற்குள் பாகுபாடு காட்டும் வெகுமதிகளை நம்பியுள்ளது	ஒற்றை-திருப்பம்/குறுகிய-பாதை பணிகள், நல்ல வெகுமதி பாகுபாடு உள்ள சூழ்நிலைகள்
DPO	ஆஃப்லைன் விருப்ப மேம்படுத்தல்	விருப்ப ஜோடிகளை ஒரு மறைமுக வெகுமதியுடன் வகைப்பாடு இழப்பாக நேரடியாக மாற்றுகிறது	மிகவும் எளிமையானது மற்றும் திறமையானது; நிகழ்நிலை மாதிரி எடுக்க வேண்டிய அவசியமில்லை	புதிய கொள்கைகளை ஆராய முடியாது; ஆஃப்லைன் விருப்பத் தரவின் தரம் மற்றும் கவரேஜால் வரையறுக்கப்பட்டுள்ளது	ஏற்கனவே உள்ள உயர்தர விருப்பத் தரவு உள்ள சூழ்நிலைகள்
KTO	ஆஃப்லைன் விருப்ப மேம்படுத்தல்	ஒரு ஒற்றை மாதிரிக்கு "நல்ல/கெட்ட" லேபிள் மட்டுமே தேவை	மிகக் குறைந்த குறியீட்டு செலவு	கரடுமுரடான சமிக்ஞை	மிகவும் குறைந்த குறியீட்டு வளங்கள் உள்ள சூழ்நிலைகள்
Best-of-N	அனுமான-நேர முறை	அனுமான நேரத்தில் N வெளியீடுகளை உருவாக்கி, சிறந்ததைத் தேர்ந்தெடுக்கிறது	மாதிரி மாற்றம் தேவையில்லை; செயல்படுத்த எளிதானது	அனுமான செலவு பெருக்கத்தில் அதிகரிக்கிறது; திறன்கள் அளவுருக்களில் பொதிக்கப்படவில்லை	ஆரம்ப கட்ட விரைவான தர முன்னேற்றம்; RL க்கான வெகுமதியின் மேல்-எல்லை மதிப்பீட்டை வழங்குகிறது

இந்த அத்தியாயத்தில் உள்ள சோதனைகளுக்குத் திரும்பும்போது, ஒவ்வொன்றிலும் பயன்படுத்தப்பட்ட அல்காரிதங்களைப் பற்றி வெளிப்படையாகப் பார்ப்போம்: GeneralPoints மற்றும் V-IRL (சோதனைகள் 7-11, 7-12) ஒரே ஆய்வில் இருந்து வந்தவை மற்றும் மதிப்பு வலையமைப்புடன் கூடிய PPO ஐப் பயன்படுத்துகின்றன; AdaptThink (சோதனை 7-10) முக்கியத்துவ மாதிரியுடன் கூடிய தனிப்பயன் கட்டுப்படுத்தப்பட்ட மேம்படுத்தல் இலக்கைப் பயன்படுத்துகிறது; பின்னர், ReTool (சோதனை 7-15) veRL அடிப்படையில் மாற்றியமைக்கப்பட்ட PPO ஐப் பயன்படுத்துகிறது (பயிற்சித் தரவு DAPO-Math-17k இலிருந்து எடுக்கப்பட்டது, ஆனால் மேம்படுத்தல் அல்காரிதம் PPO ஆகவே உள்ளது); SimpleVLA (சோதனை 7-13) மற்றும் RLVP (சோதனை 7-14) GRPO அடிப்படையிலானவை. பல-திருப்ப சூழ்நிலைகளில், கடன் ஒதுக்கீட்டு பிரச்சனை மிகவும் சிக்கலானது, மேலும் வெவ்வேறு அல்காரிதங்களுக்கு அவற்றின் சொந்த பலம் மற்றும் பலவீனங்கள் உள்ளன.

நடைமுறைத் தேர்வுப் பாதை: நம்பகமான வெகுமதி சமிக்ஞை மற்றும் கணக்கீட்டு வளங்கள் இருந்தால் → GRPO (எளிய) அல்லது PPO (நெகிழ்வான, நீண்ட பயணங்களுக்கு நுணுக்கமான கடன் ஒதுக்கீடு); உயர்தர விருப்பத் தரவு இருந்தால் → DPO/KTO (குறைந்த செலவு); ஆரம்ப ஆய்வுக் கட்டம் → விரைவான தொடக்கத்திற்கு Best-of-N.

இந்த அட்டவணையைப் பார்த்த பிறகு, "சரி, எந்த அல்காரிதத்தைப் பயன்படுத்தி நுண்ணமைப்பு செய்வது?" என்று நீங்கள் நினைக்கலாம். பதில் ஆச்சரியமாக இருக்கலாம்: பெரும்பாலான சந்தர்ப்பங்களில், எதுவாக இருந்தாலும் பரவாயில்லை—முதலில் அல்காரிதத்தில் மாட்டிக் கொள்ளாதீர்கள். அடுத்த பகுதி இந்த தலைப்புக்கு அர்ப்பணிக்கப்பட்டுள்ளது.

தரவு மற்றும் சூழல்: அல்காரிதங்களை விட முக்கியமானவை¶

இந்தப் பகுதியைத்தான் இந்த அத்தியாயத்திலிருந்து நீங்கள் நினைவில் வைத்திருக்க வேண்டும் என்று நான் விரும்புகிறேன், மேலும் இது அத்தியாயத்தின் இரண்டாவது முக்கிய வரியின் நேர்மறையான கூற்றாகும். நாம் அல்காரிதங்கள் பற்றி நிறைய நேரம் செலவிட்டுள்ளோம், ஆனால் தொழில்துறையின் முன்னணி அனுபவம் இதற்கு நேர்மாறானது: அல்காரிதங்களின் முக்கியத்துவம், மூன்று அடிப்படை கூறுகளை விட மிகவும் குறைவு—உருவகப்படுத்துதல் சூழலின் நம்பகத்தன்மை, பயிற்சித் தரவின் தரம் மற்றும் அடிப்படை மாதிரியின் திறன். இருக்கும் அல்காரிதங்களை எவ்வாறு பயன்படுத்துவது என்பதை நீங்கள் தெரிந்து கொள்ள வேண்டும்; உண்மையான இடைவெளியை உருவாக்குவது, சூழல் மற்றும் தரவை நீங்கள் எவ்வளவு சிறப்பாகக் கையாளுகிறீர்கள் என்பதுதான். இது அத்தியாயம் 6 இன் முடிவை (மதிப்பீடு மற்றும் உருவகப்படுத்துதல் சூழல்கள் பிந்தைய பயிற்சியின் அடித்தளம்) மற்றும் இந்த அத்தியாயத்தின் பிரிவு 7.2 இல் குறிப்பிடப்பட்ட OpenAI அறிவாற்றல் மாற்றத்தை (பல தசாப்தங்களாக RL ஆராய்ச்சி முன்னுரிமையை தவறாகப் புரிந்துகொண்டது; உண்மையான வரிசை முன்னுரிமை (அடிப்படை மாதிரி) > சூழல் > அல்காரிதம்) எதிரொலிக்கிறது.

சூழல்: மாதிரியின் பயிற்சி மைதானம்¶

RL இன் சாராம்சம் "சோதனை-மற்றும்-பிழை கற்றல்" ஆகும், மேலும் சோதனை-மற்றும்-பிழைக்கு ஒரு பயிற்சி மைதானம் தேவை—இதுவே உருவகப்படுத்துதல் சூழல் ஆகும். மாதிரி சூழலில் மீண்டும் மீண்டும் பணிகளை இயக்குகிறது, கருத்துக்களைப் பெறுகிறது மற்றும் அதன் கொள்கையை சரிசெய்கிறது. சூழலின் நம்பகத்தன்மை (இது உண்மையான வரிசைப்படுத்தல் சூழ்நிலையுடன் எவ்வளவு நெருக்கமாக ஒத்துப்போகிறது) பயிற்சி பெற்ற கொள்கை பயன்படுத்தக்கூடியதா என்பதை நேரடியாக தீர்மானிக்கிறது:

சூழல் சிதைந்திருந்தால், கொள்கை தோல்வியடையும். உருவகப்படுத்தப்பட்ட வாடிக்கையாளர் சேவை பிரதிநிதி எப்போதும் நிலையான ஸ்கிரிப்ட்டின் படி பதிலளித்தால், மற்றும் பிழை செய்திகள் உற்பத்தி சூழலுடன் பொருந்தவில்லை என்றால், மாதிரி உருவகப்படுத்துதலில் மட்டுமே வேலை செய்யும் ஒரு "தேர்வு எழுதும் உத்தியை" கற்றுக் கொள்ளும், மேலும் வரிசைப்படுத்தப்பட்டவுடன் உடனடியாக தோல்வியடையும். RL திட்டங்கள் தோல்வியடையும் மிகவும் பொதுவான வழி இதுதான்—அல்காரிதம் மோசமாக இருப்பதால் அல்ல, ஆனால் பயிற்சி மைதானம் தேர்வு அறையைப் போல இல்லாததால்.
உயர் நம்பகத்தன்மை கொண்ட சூழலை உருவாக்குவது, பெரும்பாலும் பயிற்சியை விட அதிக செலவு மற்றும் சிரமமானதாகும். ஒரு சூழல் பாரிய அளவில் இணைநிலைப்படுத்தப்படக்கூடியதாகவும், மீள்உருவாக்கக்கூடியதாகவும், யதார்த்தமான பின்னூட்டத்தை வழங்கக்கூடியதாகவும் இருக்க வேண்டுமானால், அதற்கு மாதிரியைச் சரிசெய்வதை விட கணிசமான பொறியியல் முயற்சி தேவைப்படுகிறது. இந்த அத்தியாயத்தின் பிற்பகுதியில் உள்ள கருவி-அழைப்பு சோதனைகள் (AWorld-ன் MCP மணல்தொட்டி, ReTool-ன் குறியீடு மொழிபெயர்ப்பாளர் மணல்தொட்டி) சூழல்களை உருவாக்குவதில் அதிக முதலீடு செய்தன, ஏனெனில் உண்மையான API-களுக்கு விகித வரம்புகள் உள்ளன, கணக்குகள் தடைசெய்யப்படலாம், பக்க விளைவுகள் உள்ளன, மேலும் அவற்றை நேரடியாகப் பயிற்சிக்குப் பயன்படுத்த முடியாது—நீங்கள் முதலில் ஒரு நிலையான, கட்டுப்படுத்தக்கூடிய, மீண்டும் இயக்கக்கூடிய "நிழல் உலகத்தை" உருவாக்க வேண்டும்.
சூழலின் மற்றொரு பாதி வெகுமதி செயல்பாடு ஆகும். சூழல் "உலகம் எவ்வாறு மாறுகிறது" என்பதை உருவகப்படுத்துவது மட்டுமல்லாமல், "செயல் நல்லதா அல்லது கெட்டதா" என்பதையும் தீர்மானிக்க வேண்டும்—இதுவே வெகுமதி சமிக்ஞையின் மூலமாகும். வெகுமதி வடிவமைப்பு என்பது சூழல் பொறியியலின் ஒரு பகுதியாகும், இது அடுத்த பகுதியில் விரிவாக விளக்கப்படும்.

சுருக்கமாக: நீங்கள் அல்காரிதங்களைச் சரிசெய்யத் தொடங்கும் முன், உங்களை நீங்களே கேட்டுக்கொள்ளுங்கள்—எனது உருவகப்படுத்துதல் சூழல் உண்மையான உலகத்தை உண்மையிலேயே ஒத்திருக்கிறதா? இந்தக் கேள்விக்கான பதில், PPO மற்றும் GRPO இடையே தேர்ந்தெடுப்பதை விட மிகவும் முக்கியமானது.

தரவு: மிக முக்கியமான இணைப்பு, மற்றும் தரமே அனைத்தையும் விஞ்சுகிறது¶

சூழல் பயிற்சி மைதானம் என்றால், தரவு என்பது பாடப்புத்தகம், மேலும் இது மூன்று கூறுகளிலும் மிக முக்கியமான இணைப்பாகும். இங்கு "தரவு" என்பது SFT கட்டத்தில் உள்ள செயல்விளக்க மாதிரிகளை (உள்ளீடு-வெளியீடு இணைகள்) மற்றும் RL கட்டத்தில் உள்ள பணி விநியோகம் மற்றும் வெகுமதி சமிக்ஞையைக் குறிக்கிறது. எந்த கட்டமாக இருந்தாலும், ஒரு இரும்பு விதி உள்ளது:

தரவுத் தரம் அல்காரிதங்களை விஞ்சுகிறது. அல்காரிதம் எவ்வளவு அதிநவீனமாக இருந்தாலும், நீங்கள் அதற்கு அசுத்தமான தரவு, முழுமையற்ற தரவு அல்லது முறையான சார்பு கொண்ட தரவை ஊட்டினால், கற்றுக்கொண்ட கொள்கையும் அசுத்தமாகவே இருக்கும். SFT ஆனது தரவில் உள்ள சத்தம் மற்றும் சார்புகளை அப்படியே அளவுருக்களில் உறுதிப்படுத்தும்; RL ஆனது சார்பான வெகுமதியை நோக்கி இடைவிடாமல் மேம்படுத்தி, தவறான திசையை மேலும் மேலும் எடுத்துச் செல்லும் (இதுவே வெகுமதி ஹேக்கிங்கின் இனப்பெருக்கம் ஆகும்). குப்பை உள்ளே, குப்பை வெளியே என்பது பிந்தைய பயிற்சியில் முழுமையாக வெளிப்படுகிறது.

மேலும், பல குழுக்கள் உணராத ஆனால் மிகவும் செலவு குறைந்த ஒரு தீர்ப்பும் உள்ளது:

பல சூழ்நிலைகளில், SFT தரவுத் தரம் போதுமானதாக இருந்தால், நீங்கள் RL செய்யவே தேவையில்லை. RL விலை உயர்ந்தது மற்றும் நிலையற்றது (பெரும்பாலும் SFT-ன் செலவில் பத்து முதல் நூறு மடங்கு வரை), ஆனால் பல குழுக்கள் நேரடியாக அதில் குதிக்கின்றன. இருப்பினும், உங்கள் பணி விநியோகம் கணிக்கக்கூடியதாக இருந்தால், மற்றும் போதுமான பன்முகத்தன்மை மற்றும் உயர்தர செயல்விளக்க தரவைப் பெற முடிந்தால், ஒரு திடமான SFT பெரும்பாலும் தேவைகளைப் பூர்த்தி செய்யும். RL-க்கு உண்மையிலேயே ஈடுசெய்ய முடியாத சூழ்நிலைகள் குறைவாகவே உள்ளன (பகுதி 7.5 ஐப் பார்க்கவும்): பயன்பாட்டு விநியோகம் முறையாக மாறும், நிபுணர் செயல்விளக்கங்கள் அவற்றிலேயே உகந்ததாக இல்லை, அல்லது ஒவ்வொரு பாதைக்கும் செயல்விளக்கங்களை வழங்குவதற்கான குறியீட்டு செலவு மிக அதிகமாக இருக்கும். முதலில், SFT தரவை நன்றாக ஆக்குங்கள்; பின்னர் RL தேவையா என்பதை முடிவு செய்யுங்கள்—இந்த வரிசை உங்களுக்கு நிறைய கணக்கீடு மற்றும் நேரத்தை மிச்சப்படுத்தும்.

ஒரு சிறந்த தொழில் உதாரணம் Anthropic. 2025-க்கு முன், அதன் பயிற்சிக்குப் பிந்தைய (post-training) செய்முறை முக்கியமாக இரண்டு பகுதிகளைக் கொண்டிருந்தது: மிகப்பெரிய அளவிலான உயர்தர தரவுகளுடன் கூடிய SFT, மற்றும் RLAIF (Reinforcement Learning from AI Feedback in Constitutional AI, Bai et al. 2022, ஒரு "அரசியலமைப்பை"ப் பயன்படுத்தி மாதிரி தனது சொந்த பதில்களை மதிப்பெண் வழங்க வழிகாட்டுவதற்காக)—மேலும் இது தற்போது குறியீடு மற்றும் பகுத்தறிவுக்கு நிலையானதாக இருக்கும் RLVR (Reinforcement Learning with Verifiable Rewards) ஐ அதிகம் நம்பவில்லை. ஆயினும்கூட, அதன் கோடிங் மாதிரியின் தரம் ஏற்கனவே சிறப்பாக இருந்தது. இதற்குக் காரணம் பெரும்பாலும் வழிமுறை அல்ல, மாறாக SFT மற்றும் RLAIF ஆகிய இரண்டிற்குமான தரவுத் தரத்தை அது உச்சத்திற்குத் தள்ளியது என்பதுதான்—இது மேலே உள்ள தீர்ப்பை உறுதிப்படுத்துகிறது: SFT தரவு போதுமான அளவு நன்றாக இருக்கும்போது, ஒரு எளிய செய்முறை ஒரு சிறந்த மாதிரியைப் பயிற்றுவிக்க முடியும்; சிக்கலான சரிபார்க்கக்கூடிய-வெகுமதி RL அவசியமில்லை. நிச்சயமாக, RL பயனற்றது என்று இது அர்த்தப்படுத்தாது: 2025 முதல், Anthropic RL இல் தனது முதலீட்டை கணிசமாக அதிகரித்துள்ளது—நல்ல தரவால் அமைக்கப்பட்ட அடித்தளத்தின் மீது, RL திறன் உச்சவரம்பை இன்னும் உயர்த்த முடியும். தரவு நீங்கள் எங்கு செல்ல முடியும் என்பதைத் தீர்மானிக்கிறது; RL நீங்கள் எவ்வளவு உயரத்திற்குச் செல்ல முடியும் என்பதைத் தீர்மானிக்கிறது.

தரவுத் தரம் என்றால் குறிப்பாக என்ன? குறைந்தது மூன்று பரிமாணங்கள்: கவரேஜ் (இது வரிசைப்படுத்தலின் போது சந்திக்கும் பல்வேறு சூழ்நிலைகளை, குறிப்பாக நீண்ட-வால் மற்றும் விளிம்பு நிலைகளை (edge cases) உள்ளடக்குகிறதா?), பன்முகத்தன்மை (விளக்கங்களில் உள்ள பேச்சாளர்கள், பாணிகள் மற்றும் தீர்வுகள் போதுமான அளவு வளமாக உள்ளனவா? இல்லையெனில், மாதிரி ஒரு ஒற்றை முறையில் சுருங்கிவிடும், எடுத்துக்காட்டாக சோதனை 7-6 இல் "அனைவரும் ஒரே தொனியில் பேசுவது" போல), மற்றும் சிறுகுறிப்பு துல்லியம் (விளக்க பதில் சரியானதா? குறிப்பாக சிந்தனை-சங்கிலி வடித்தல் (chain-of-thought distillation) இல், பிழையான சிந்தனை செயல்முறைகள் மாணவரால் பின்பற்றப்படும்—எனவே சோதனை 7-9 தவறான பதில்களைக் கொண்ட பாதைகளை முதலில் வடிகட்ட ஒரு விதி சரிபார்ப்பியை (rule verifier) பயன்படுத்துகிறது). இந்த மூன்று புள்ளிகளுக்கான முதலீட்டின் மீதான வருவாய் பொதுவாக ஒரு அழகான வழிமுறைக்கு மாறுவதை விட மிக அதிகமாகும்.

செயல்பாட்டு மட்டத்திற்கு வரும்போது, நிராகரிப்பு மாதிரிதேர்வு என்பது "சிறுகுறிப்பு துல்லியத்தை" உச்சமடக்கும் நிலையான நடவடிக்கையாகும், அதன் செயல்முறை நிலையானது: ஒவ்வொரு தூண்டுதலுக்கும் k வேட்பாளர்களை மாதிரியெடுக்கவும் (நடைமுறையில் k பொதுவாக 4 முதல் 16 வரை எடுக்கப்படுகிறது) → விதி சரிபார்ப்பி, யூனிட் சோதனைகள் அல்லது குறிப்புப் பதில்களைப் பயன்படுத்தி சரி-தவறைத் தீர்மானிக்கவும் (தானியங்கு சரிபார்ப்பி இல்லாத பணிகளுக்கு, வெகுமதி மாதிரி அல்லது வலுவான மாதிரியின் மதிப்பெண்ணை மாற்றாகப் பயன்படுத்தலாம்) → தேர்வில் தேர்ந்த பாதைகளை மட்டும் வைத்திருங்கள், மேலும் நகல்களை நீக்கி, ஒரே தூண்டுதலில் வைத்திருக்கப்படும் எண்ணிக்கையைக் கட்டுப்படுத்தி, தரவு சில எளிய கேள்விகளை நோக்கிச் சுருங்குவதைத் தடுக்கவும் → மீதமுள்ள தரவைக் கொண்டு ஒரு சுற்று SFT செய்யவும். மாதிரி வலுவடைந்த பிறகு மீண்டும் மாதிரியெடுத்து வடிகட்டலாம், இவ்வாறு மீள்செயல் செய்யலாம்—இதுவே STaR, RFT போன்ற தன்-தூண்டல் முறைகளின் மையச் சுழற்சியாகும். இது "தரவுத் தரம் அல்காரிதத்தை விஞ்சுகிறது" என்ற கோஷத்தை ஒரு செயல்படுத்தக்கூடிய குழாயாக மாற்றுகிறது: புதிய அல்காரிதம் தேவையில்லை, நம்பகமான ஒரு சரிபார்ப்பியும் போதுமான மாதிரிதேர்வு பட்ஜெட்டும் மட்டுமே தேவை.

அத்தியாயம் 9 இந்த தீர்ப்பை மீண்டும் எதிரொலிக்கும்: பேச்சு அங்கீகாரத்தில், மாதிரியின் "குறுக்கிடலாமா வேண்டாமா" என்ற முடிவு தொடர்ந்து ஊசலாடிக்கொண்டிருக்கிறது. இதற்கான மூல காரணம் மாதிரி அமைப்பு அல்ல, மாறாக பயிற்சி லேபிள்கள் "கடவுளின் பார்வையில்" இருந்து சிறுகுறிப்பு செய்யப்படுகின்றன—லேபிள்களை "முடிவு எடுக்கும் தருணத்தில் கிடைக்கும் தகவலை மட்டுமே பயன்படுத்த" மாற்றுவது சிக்கலை மறையச் செய்கிறது. பல நேரங்களில், தரவு கட்டமைப்பை விட முக்கியமானது.

எனவே, வழிமுறை எப்போது வருகிறது?¶

இது வழிமுறைகள் முற்றிலும் முக்கியமற்றவை என்று சொல்வதல்ல, ஆனால் அவற்றின் இடம் பின்னர் வருகிறது. முயற்சியின் நியாயமான வரிசை: முதலில், வலுவான அடிப்படை மாதிரியைத் தேர்ந்தெடுக்கவும் → பின்னர் சூழல் மற்றும் தரவை மெருகூட்டவும் → இறுதியாக, வழிமுறைகள் மற்றும் ஹைப்பர்பாராமீட்டர்களில் விளிம்பு நிலை மேம்படுத்தல்களைச் செய்யவும். உங்கள் சூழல் யதார்த்தமாகவும், உங்கள் தரவு நன்றாகவும், உங்கள் அடிப்படை மாதிரி வலுவாகவும் இருந்தால் மட்டுமே வழிமுறைகளுக்கு இடையிலான வேறுபாடுகள் தெளிவாகத் தெரியும். அப்போதுதான் "GRPO அல்லது PPO, Clip-Higher ஐப் பயன்படுத்த வேண்டுமா?" போன்ற கேள்விகள் தீவிரமாக மாற்றியமைக்கத் தகுந்தவை. மாறாக, சூழல் மற்றும் தரவு தயாராவதற்கு முன்பே வழிமுறைகளைப் பின்தொடர்வது என்பது, குதிரைக்குப் பின்னால் வண்டியைக் கட்டுவது போன்ற ஒரு பாரம்பரிய தவறு. இந்த முன்னுரிமையை மனதில் கொண்டு, நாம் பல-சுற்று பணிகளுக்குச் செல்கிறோம்—அங்கு வெகுமதி வடிவமைப்பு (தரவு மற்றும் சூழலின் குறுக்குவெட்டு) வெற்றி அல்லது தோல்விக்கான முக்கிய காரணியாக மாறுகிறது.

ஒற்றை-சுற்றிலிருந்து பல-சுற்றுக்கு: கடன் ஒதுக்கீடு மற்றும் வெகுமதி வடிவமைப்பு¶

பல-சுற்று பணிகளின் மைய சவால்¶

படம் 7-14: ஒற்றை-சுற்று RL மற்றும் பல-சுற்று RL இன் ஒப்பீடு

படம் 7-15: பல-சுற்று இடைவினைகளில் கடன் ஒதுக்கீடு

ஒற்றை-சுற்றிலிருந்து பல-சுற்றுக்கு நகர்வது சிக்கலில் ஒரு தரமான பாய்ச்சலை உள்ளடக்கியது. கொள்கையானது தற்போதைய படிக்கு உகந்த செயலைத் தேர்ந்தெடுப்பது மட்டுமல்லாமல், எதிர்கால நிலை மதிப்பையும் கருத்தில் கொள்ள வேண்டும்; அது உடனடி பின்னூட்டத்தை மட்டுமல்லாமல், தாமதமான வெகுமதிகளின் கீழ் கடன் ஒதுக்கீட்டையும் (Credit Assignment) செய்ய வேண்டும்—பல-படி வரிசையில் எந்த படி இறுதி முடிவுக்கு அதிகம் பங்களித்தது என்பதை தீர்மானிக்க வேண்டும். உதாரணமாக, ஒரு வாடிக்கையாளர் சேவை ஏஜெண்ட் 10 சுற்று உரையாடலுக்குப் பிறகு ஒரு பயனரின் சிக்கலைத் தீர்த்து நேர்மறையான மதிப்பாய்வைப் பெறுகிறார்—ஆனால் இந்த நேர்மறையான மதிப்பாய்வு சுற்று 2 இல் உள்ள துல்லியமான கேள்விக்கா அல்லது சுற்று 7 இல் உள்ள பொறுமையான விளக்கத்திற்கா காரணமாக இருக்க வேண்டும்? பல-சுற்று மற்றொரு சவாலையும் அறிமுகப்படுத்துகிறது: பகுதி கவனிக்கத்தக்க தன்மை (Partial Observability) (ஏஜெண்டால் முழுமையான நிலையைப் பெற முடியாது மற்றும் வரலாற்று அவதானிப்புகளிலிருந்து ஒரு மறைமுக நிலை பிரதிநிதித்துவத்தை உருவாக்க வேண்டும்).

இங்கு விவாதிக்கப்படும் பல-சுற்று இடைவினையின் இயற்பியல் வடிவம், அத்தியாயம் 1 மற்றும் 4 இல் விவரிக்கப்பட்டுள்ள ReAct லூப் தான்—ஒவ்வொரு சுற்றும் Think → Act → Observe இன் ஒரு மறுமுறையாகும், மேலும் வெகுமதி தாமதம் என்பது "இறுதி முடிவை பல சுற்றுகளுக்குப் பிறகு மட்டுமே மதிப்பிட முடியும்" என்ற கட்டமைப்பு கட்டுப்பாட்டிலிருந்து உருவாகிறது.

வெகுமதி சமிக்ஞைகளின் அடர்த்தி மற்றும் முன்னுதாரணம்¶

இந்த துணைப்பிரிவில் விவாதிக்கப்படும் வெகுமதி வடிவமைப்பு ஒற்றை-சுற்று பணிகளுக்கும் பொருந்தும்; இது பல-சுற்று பிரிவில் வைக்கப்பட்டுள்ளது, ஏனெனில் பல-சுற்று காட்சிகளில் கடன் ஒதுக்கீட்டின் சிரமம் "பின்னூட்டம் எவ்வளவு அடர்த்தியானது மற்றும் அது எந்த வடிவத்தில் உள்ளது" என்பதை ஒரு விருப்பத்திலிருந்து வெற்றிக்கான தீர்க்கமான காரணியாக உயர்த்துகிறது. வெகுமதி சமிக்ஞைகளுக்கு இரண்டு வடிவமைப்பு பரிமாணங்கள் உள்ளன: அடர்த்தி (எவ்வளவு அடிக்கடி பின்னூட்டம் வழங்கப்படுகிறது—பைனரி/ஸ்பார்ஸ்/ப்ராசஸ் வெகுமதி) மற்றும் பிரதிநிதித்துவ வடிவம் (பின்னூட்டம் எப்படி இருக்கிறது—ஸ்கேலர்/வெக்டர்/ஜெனரேட்டிவ்).

பல-சுற்று வெகுமதி வடிவமைப்பைப் பற்றி விவாதிப்பதற்கு முன், வெகுமதி சமிக்ஞைகளுக்கான வடிவமைப்பு இடத்தை முறையாக வரையறுப்போம். இது RL பயிற்சிக்கான மைய தலைப்பாகும், மேலும் இது அத்தியாயம் 6 இல் விவாதிக்கப்பட்ட தானியங்கி மதிப்பீட்டுடன் நெருங்கிய தொடர்புடையது—கவனமாக வடிவமைக்கப்பட்ட மதிப்பீட்டு சூழல் பெரும்பாலும் உயர்தர பயிற்சி சூழலாக மாற்றப்படலாம். இருப்பினும், இரண்டு விஷயங்களை வேறுபடுத்திப் பார்ப்பது முக்கியம்: "மதிப்பீட்டு சூழலை மீண்டும் பயன்படுத்தலாம்" என்பது "இந்த குறிப்பிட்ட மதிப்பீட்டுத் தரவை நேரடியாகப் பயிற்சிக்குப் பயன்படுத்தலாம்" என்று அர்த்தமல்ல.

மூன்று எடுத்துக்காட்டுகளைப் பார்ப்போம். SWE-bench இந்த மாற்றத்தின் ஒரு பொதுவான நிகழ்வை வழங்குகிறது: SWE-Gym அதன் அடிப்படையில் பயிற்சியளிக்கக்கூடிய பணித் தொகுப்பை உருவாக்குகிறது (சிக்கல் விளக்கம் உள்ளீடாக, இணைப்பு மேற்பார்வை சமிக்ஞையாக, சோதனை வழக்குகள் வெகுமதி சமிக்ஞையை வழங்குகின்றன)—ஆனால் பயிற்சிக்குப் பயன்படுத்தப்படும் தரவு புதிதாக உருவாக்கப்பட்ட பணித் தொகுப்பாகும், அதே நேரத்தில் OpenAI ஆல் கைமுறையாகத் தேர்ந்தெடுக்கப்பட்ட 500 கேள்விகள் கொண்ட மதிப்பீட்டு துணைத்தொகுப்பு SWE-Bench Verified பயிற்சித் தரவிலிருந்து கண்டிப்பாக தனிமைப்படுத்தப்பட வேண்டும். பயிற்சித் தொகுப்பில் கலந்துவிட்டால், மதிப்பீடு அர்த்தமற்றதாகிவிடும் (இது இந்த அத்தியாயத்தின் இறுதியில் உள்ள சிந்தனைக் கேள்வி 10 இல் விவாதிக்கப்படும் பதற்றம்). τ²-bench இன் முழுமையான பாதைப் பதிவுகள் (உரையாடல் வரலாறு, கருவி அழைப்புகள், நிலை மாற்றங்கள்) பின்பற்றுதல் கற்றலுக்கு மதிப்புமிக்க தரவை வழங்குகின்றன—வெற்றிகரமான பாதைகள் நேர்மறை மாதிரிகளாகவும், தோல்வியுற்ற பாதைகள் குறியீடு செய்யப்பட்ட பிறகு எதிர்மறை மாதிரிகளாகவும் பயன்படுத்தப்படுகின்றன. AndroidWorld இன் அளவுருவாக்கப்பட்ட வார்ப்புருக்கள் எண்ணற்ற மாறுபாடுகளைத் தொகுதியாக உருவாக்க முடியும், இது இயற்கையாகவே பாடத்திட்டக் கற்றலை ஆதரிக்கிறது—எளிய ஒற்றை-படி செயல்பாடுகளிலிருந்து சிக்கலான குறுக்கு-பயன்பாட்டு பணிப்பாய்வுகள் வரை முன்னேறுகிறது.

இந்த எடுத்துக்காட்டுகள் ஒரே முடிவைச் சுட்டிக்காட்டுகின்றன: மதிப்பீட்டு சூழல் வழங்கும் வெகுமதி சமிக்ஞையின் தரம் RL பயிற்சியின் செயல்திறனை நேரடியாகத் தீர்மானிக்கிறது—பயிற்சிக்குப் பயன்படுத்தப்படும் தரவு மதிப்பீட்டுக்குப் பயன்படுத்தப்படும் தரவிலிருந்து பிரிக்கப்பட்டிருந்தால் மட்டுமே.

படம் 7-16: வெகுமதி அடர்த்தி நிறமாலை

இரும வெகுமதிகளுக்கான பொருந்தக்கூடிய சூழ்நிலைகள்.

பல பணிகளுக்கு, எளிமையான இரும வெகுமதி (வெற்றி=1, தோல்வி=0) போதுமானது. உதாரணமாக, "கணிதக் கேள்விக்கு பதிலளித்தல்"—பதில் சரியா அல்லது தவறா, இடைநிலை இல்லை; அல்லது "SQL வினவலை இயக்குதல்"—திரும்பப் பெறப்பட்ட முடிவு எதிர்பார்ப்புடன் பொருந்துகிறதா இல்லையா. தெளிவான சரியான பதில்களைக் கொண்ட பணிகளுக்கு, இரும வெகுமதிகள் எளிமையானவை மற்றும் நம்பகமானவை, மேலும் சிக்கலான வடிவமைப்பு தேவையில்லை.

தெளிவான சரியான பதில் இல்லாத திறந்த-முடிவு பணிகளில் சிக்கல் எழுகிறது.

அரிதான வெகுமதிகளின் சங்கடம்.

Pine AI தொலைபேசி அழைப்புகள் மூலம் பணிகளைக் கையாளும் உதாரணத்தை எடுத்துக் கொள்வோம். Xfinity-ஐத் தொடர்புகொண்டு திட்டத்தை மாற்ற ஒரு ஏஜெண்டுக்குப் பயிற்சி அளிக்க இரும வெகுமதியைப் (வெற்றி = 1, தோல்வி = 0) பயன்படுத்துதல்: முதல் முறை, கணக்கு எண்ணைச் சேகரிக்க மறந்துவிடுகிறது, தோல்வி வெகுமதி = 0; இரண்டாவது முறை, கிரெடிட் கார்டின் கடைசி நான்கு இலக்கங்களை மறந்துவிடுகிறது, தோல்வி வெகுமதி = 0; மூன்றாவது முறை, பில்லிங் முகவரியைத் தவறவிடுகிறது, தோல்வி வெகுமதி = 0... சுமார் நூறாவது முயற்சியில்தான் தற்செயலாக வெற்றி பெறுகிறது.

சிக்கலின் மூலம், சில்வர் மற்றும் சுட்டன் தங்கள் "Welcome to the Era of Experience"[^ch7-8] என்ற கட்டுரையில் சுட்டிக்காட்டியுள்ளபடி, தற்போதைய RL முறைகள் வெற்றி அல்லது தோல்வியின் இறுதி விளைவிலிருந்து மட்டுமே கற்றுக்கொள்ள முடியும், ஆனால் சூழல் வழங்கும் வளமான பின்னூட்டத்திலிருந்து கற்றுக்கொள்ள முடியாது. வாடிக்கையாளர் சேவை பிரதிநிதி வெளிப்படையாக, "உங்கள் கிரெடிட் கார்டின் கடைசி நான்கு இலக்கங்கள் எனக்குத் தேவை" என்று கூறுகிறார். ஒரு மனிதன் அதை ஒருமுறை கேட்டு நினைவில் வைத்துக்கொள்கிறான், ஆனால் RL இறுதி முடிவான "தோல்வி"யை மட்டுமே பார்க்கிறது, அது ஏன் தோல்வியடைந்தது என்று தெரியவில்லை. மோசமான விஷயம் என்னவென்றால்: 10-படி செயல்முறையில், முதல் 9 படிகள் சரியானதாக இருந்து, 10வது படி மட்டும் தவறாக இருந்தாலும், பெறப்படும் சமிக்ஞை "முழு பணியும் தோல்வியடைந்தது" என்பதுதான், எந்த குறிப்பிட்ட படி தவறானது என்பதை அறிய வழியில்லை. இந்த அத்தியாயத்தில் பின்னர் வரும் On-Policy Distillation மற்றும் சரிபார்க்கப்பட்ட பாதை அபராதம் (RLVP) போன்ற மேம்பட்ட நுட்பங்கள் இந்த சிக்கலைத் தணிக்க வடிவமைக்கப்பட்டுள்ளன.

செயல்முறை வெகுமதி (Process Reward) செயல்பாட்டின் போது ஒவ்வொரு முக்கிய படிக்கும் உடனடி பின்னூட்டத்தை வழங்குகிறது, மதிப்பீட்டை கருப்பு பெட்டியிலிருந்து வெள்ளை பெட்டியாக மாற்றுகிறது. எடுத்துக்காட்டாக, குறியீடு உருவாக்கத்தில், இது தேவை புரிதல், குறியீடு தேடல், தீர்வு வடிவமைப்பு, குறியீடு எழுதுதல் மற்றும் சோதனை இயக்கம் போன்ற நிலைகளை தனித்தனியாக மதிப்பீடு செய்ய முடியும்; வாடிக்கையாளர் சேவை சூழ்நிலைகளில், அடையாள சரிபார்ப்பு, தகவல் வினவல், உறுதிப்படுத்தல் மற்றும் கட்டணம் செலுத்துதல் போன்ற படிகள் சரியானதா என்பதை சரிபார்க்க முடியும். இருப்பினும், செயல்முறை வெகுமதிகள் அதிக குறியீட்டு செலவுகள் மற்றும் புதுமையை அதிகமாகக் கட்டுப்படுத்தும் சாத்தியம் போன்ற சவால்களை எதிர்கொள்கின்றன, மேலும் நடைமுறையில், அவை விளைவு வெகுமதிகளுடன் இணைந்து பயன்படுத்தப்பட வேண்டும்.

வெகுமதி முன்னுதாரணங்களின் பரிணாமம்.

படம் 7-17: வெகுமதி முன்னுதாரணங்களின் பரிணாமம்

DeepSeek இன் ஆராய்ச்சி (Liu et al., 2025) ஸ்கேலர்-செமி-ஸ்கேலர்-ஜெனரேட்டிவ் ஸ்பெக்ட்ரமில் உள்ள வெகுமதி முன்னுதாரணங்களில் கற்றல் சமிக்ஞைகளின் வேறுபாடுகளை முறையாக பகுப்பாய்வு செய்கிறது. இதன் அடிப்படையில், இந்த புத்தகம் ஒரு திசையன் (பல பரிமாண) மதிப்பெண் பரிமாணத்தை சேர்க்கிறது. முன்னுதாரணங்களுக்கு இடையிலான வேறுபாடுகளை உள்ளுணர்வாக புரிந்துகொள்ள, Pine AI ஆனது Xfinity தொகுப்பை அமைக்க அழைக்கும் முந்தைய காட்சியை மீண்டும் பயன்படுத்துகிறோம்: இந்த முறை, Agent பணியை முடித்தது, ஆனால் குறைபாடுகளுடன்—அது பில்லிங் முகவரியை தவறவிட்டது (சேர்க்க வேண்டும்) மற்றும் தொகுப்பின் பெயரை தவறாகக் கூறியது, "Performance Pro" என்பதற்கு பதிலாக "Performance Plus" என்று கூறியது (பின்வரும் மதிப்பெண்கள் விளக்கத்திற்கானவை):

ஸ்கேலர் முன்னுதாரணம் (Scalar Paradigm): 7.2 மதிப்பெண்ணை வழங்குகிறது—நோய் கண்டறியும் திறன் இல்லை, எது நன்றாக செய்யப்பட்டது அல்லது மோசமாக செய்யப்பட்டது என்பதைப் பற்றிய நுண்ணறிவு இல்லை. செமி-ஸ்கேலர் முன்னுதாரணம் (Semi-Scalar Paradigm): முதலில் பலம் மற்றும் பலவீனங்களை பகுப்பாய்வு செய்கிறது, பின்னர் 6.5 மதிப்பெண்ணை வழங்குகிறது—ஒரு அடிப்படையை வழங்குகிறது, ஆனால் தகவல் இன்னும் வரையறுக்கப்பட்டுள்ளது. திசையன் முன்னுதாரணம் (Vector Paradigm) (இந்த புத்தகத்தால் சேர்க்கப்பட்ட பரிமாணம்): பல பரிமாணங்களை தனித்தனியாக மதிப்பெண் வழங்குகிறது—தகவல் வினவல் துல்லியம் 9/10, தகவல் சேகரிப்பு முழுமை 6/10, தொடர்பு சரளம் 8/10, தொடர்பு துல்லியம் 7/10, பயனர் தொடர்பு துல்லியம் 10/10, ஒட்டுமொத்த பணி நிறைவு 8/10. இது ஒரு மருத்துவ சோதனை அறிக்கை போன்றது, சிக்கலை துல்லியமாக சுட்டிக்காட்டுகிறது ("தகவல் சேகரிப்பு" 6 மட்டுமே மதிப்பெண் பெற்றது, சேகரிப்பு கட்டத்திற்கான prompt ஐ மேம்படுத்த வேண்டும் என்பதைக் குறிக்கிறது).

உருவாக்க முன்னுதாரணம் (Generative Paradigm): இயற்கை மொழியில் விரிவான விளக்கத்தை வழங்குகிறது, வெவ்வேறு கண்ணோட்டங்களில் இருந்து பகுப்பாய்வு செய்வதற்காக பல மாதிரி இயக்கங்களை (sampling runs) ஆதரிக்கிறது—எடுத்துக்காட்டாக, மதிப்பீட்டிற்காக ஒரே செயலாக்கத்தை பல முறை மாதிரி எடுப்பது வெவ்வேறு அம்சங்களை உள்ளடக்கிய பகுப்பாய்வுக் காட்சிகளை அளிக்கிறது. முன்னேற்றத்திற்காக இந்த நோயறிதல்களை இணைப்பது ஒரு ஒற்றை மதிப்பெண்ணைப் பெறுவதை விட மிகப் பெரிய நன்மைகளை அளிக்கிறது. DeepSeek கட்டுரையின் உண்மையான முடிவு: உருவாக்க வெகுமதி மாதிரிகள் (Generative reward models) அனுமான-நேர அளவீடு (inference-time scaling) மூலம் (பல முறை மாதிரி எடுத்து மதிப்பீடு செய்து பின்னர் ஒருங்கிணைத்தல்) மதிப்பீட்டுத் தரத்தை தொடர்ந்து மேம்படுத்த முடியும், பல வெகுமதி மாதிரி அளவுகோல்களில் (benchmarks) மாதிரி அளவை மட்டுமே அதிகரிப்பதை நம்பியிருக்கும் அளவீட்டு (scalar) அணுகுமுறைகளை விஞ்சுகிறது. உருவாக்க வெகுமதிகளின் மைய மதிப்பு, வளமான சூழல் பின்னூட்டத்தை (environmental feedback) கற்றுக்கொள்ளக்கூடிய அறிவாக மாற்றுவதில் உள்ளது, இது ஏஜெண்ட் (Agent) ஒரு தோல்வியிலிருந்து முன்னேற்ற திசைகளைக் கற்றுக்கொள்ள உதவுகிறது, நூற்றுக்கணக்கான குருட்டு சோதனை-பிழை முயற்சிகள் தேவைப்படாமல்.

RLHF கண்ணோட்டத்தில், உருவாக்க வெகுமதி மாதிரிகள் முன்னர் விவாதிக்கப்பட்ட Bradley-Terry பாகுபாடு வெகுமதி மாதிரியின் (discriminative reward model) பரிணாம வளர்ச்சியாகக் கருதப்படலாம்: பாகுபாடு RM ஒரு அளவீட்டு மதிப்பெண்ணை மட்டுமே வெளியிடுகிறது (யார் அதிகம்/குறைவு), அதேசமயம் உருவாக்க RM இயற்கை மொழியில் பகுத்தறிவுடன் கூடிய தீர்ப்பை உருவாக்குகிறது, "ஏன் நல்லது, ஏன் கெட்டது" என்பதை விளக்குகிறது. இது இயல்பாகவே மிகவும் வெளிப்படையானதாகவும், விதிகள் மற்றும் அளவீட்டு மதிப்பெண்களால் மறைப்பதற்கு கடினமான திறந்த-முடிவு பணிகளுக்கு (open-ended tasks) நீட்டிக்க எளிதானதாகவும் ஆக்குகிறது.

எந்த வெகுமதி செயல்பாட்டைத் தேர்ந்தெடுப்பது என்பது பணியின் சரிபார்ப்பு முறையைப் பொறுத்தது. பதிலை குறியீடு மூலம் தானாக சரிபார்க்க முடிந்தால் (எ.கா., கணிதப் பிரச்சனைகள், யூனிட் சோதனைகள்), இரும வெகுமதிகள் (binary rewards) மிகவும் எளிமையானவை மற்றும் நேரடியானவை. பணியில் பல சுயாதீன தர பரிமாணங்கள் இருந்தால் (எ.கா., வாடிக்கையாளர் சேவை காட்சிகளில் தகவல் துல்லியம், தொடர்பு பண்பாடு, பிரச்சனை தீர்வு விகிதம்), பரிமாண வாரியான மதிப்பீட்டிற்கு திசையன் வெகுமதிகளை (vector rewards) பயன்படுத்தவும். பணி மிகவும் திறந்த-முடிவு மற்றும் பரிமாணங்களாக உடைக்க கடினமாக இருந்தால் (எ.கா., படைப்பு எழுத்து, சிக்கலான உரையாடல்), மதிப்பீட்டு மாதிரியை தரமான பகுப்பாய்வை வழங்க அனுமதிக்க உருவாக்க வெகுமதிகளை (generative rewards) பயன்படுத்தவும்.

உருவாக்க வெகுமதி மாதிரிகளைப் பயிற்றுவித்தல் (Training Generative Reward Models).

உருவாக்க வெகுமதி மாதிரியை எவ்வாறு பயிற்றுவிப்பது? பாரம்பரிய முறைகளுக்கு மனித நிபுணர்கள் அதிக எண்ணிக்கையிலான வழக்குகளை மதிப்பீடு செய்ய வேண்டும், பின்னர் மாதிரி அவற்றைப் பின்பற்ற வேண்டும், இது செலவு அதிகம், மேலும் A ஏன் B ஐ விட சிறந்தது என்பதை விளக்குவது மனிதர்களுக்கு பெரும்பாலும் கடினம். DeepSeek இன் முறை மாதிரியை மூன்று படிகளில் மதிப்பீட்டுத் திறன்களை தானாக கற்றுக்கொள்ள அனுமதிக்கிறது:

படி 1: குறிப்பிட்ட பணிகளுக்கான மதிப்பீட்டுக் கொள்கைகளை மாதிரி தானாக உருவாக்குகிறது. எடுத்துக்காட்டாக, "ஒரு பயனருக்கு Xfinity தொகுப்பை மாற்ற அழைக்க உதவுதல்" என்பதை மதிப்பிடும்போது, மாதிரி சுருக்கமாகக் கூறுகிறது: "ஒரு நல்ல ஏஜெண்ட்: 1) சரியான அதிகாரப்பூர்வ வாடிக்கையாளர் சேவை சேனலைக் கண்டறிய வேண்டும்; 2) முழுமையான அடையாள சரிபார்ப்புத் தகவலை சேகரிக்க வேண்டும்; 3) தொலைபேசி அழைப்பின் போது பயனரின் தேவைகளை துல்லியமாக தெரிவிக்க வேண்டும்; 4) தகவலை கற்பனை செய்வதையோ அல்லது தவறாக தெரிவிப்பதையோ தவிர்க்க வேண்டும்; 5) வாடிக்கையாளர் சேவை கோரிக்கைகளுக்கு உடனடியாக பதிலளிக்க வேண்டும்."

படி 2: ஒவ்வொரு கொள்கையின் அடிப்படையிலும் செயல்படுத்தும் செயல்முறையை மதிப்பீடு செய்யவும். உதாரணத்தைத் தொடர்ந்து: சரியான தொலைபேசி எண் கண்டுபிடிக்கப்பட்டதா? ஆம், 1-800-XFINITY என்பது அதிகாரப்பூர்வ வாடிக்கையாளர் சேவை எண். தகவல் சேகரிப்பு முழுமையாக இருந்ததா? இல்லை, பில்லிங் முகவரி தவறவிடப்பட்டது. தகவல் தெரிவிப்பு துல்லியமாக இருந்ததா? ஒரு பிழை இருந்தது; தொகுப்பின் பெயர் தவறாகக் கூறப்பட்டது.

படி 3: கணினி தானாகவே மதிப்பீட்டின் துல்லியத்தைச் சரிபார்க்கிறது. உதாரணமாக, மாதிரி "தொகுப்பின் பெயர் துல்லியமாகத் தெரிவிக்கப்பட்டது" என்று கூறினால், ஆனால் உண்மையான செயல்பாட்டுப் பாதை (trajectory) பெயர் தவறாக இருந்ததைக் காட்டினால், கணினி எதிர்மறையான பின்னூட்டத்தை (negative feedback) அளிக்கிறது. மாதிரி தவறவிடப்பட்ட பில்லிங் முகவரியைத் துல்லியமாக அடையாளம் கண்டால், அது நேர்மறையான பின்னூட்டத்தை (positive feedback) அளிக்கிறது. ஆயிரக்கணக்கான வழக்குகளில் மீண்டும் மீண்டும் பயிற்சி செய்வதன் மூலம், மாதிரி படிப்படியாக வெவ்வேறு பணிகளுக்கு நியாயமான கொள்கைகளை உருவாக்கவும், துல்லியமான கண்டறிதல்களை (diagnoses) செய்யவும் கற்றுக்கொள்கிறது.

இந்த முறை பல முக்கிய நன்மைகளைக் கொண்டுள்ளது: வலுவான பொதுமைப்படுத்தல் திறன் (இது "தரநிலைகளை அமைத்து மதிப்பீடுகளைச் செய்வது" என்ற மெட்டா-திறனை (meta-capability) கற்றுக்கொள்கிறது, நிலையான மதிப்பெண் அளவுகோல் அல்ல); மதிப்பீட்டு செயல்முறை வெளிப்படையானது, சார்பு மதிப்பாய்வை (bias review) எளிதாக்குகிறது (எ.கா., மாதிரி எப்போதும் "நீண்ட பதில்களை" ஒரு பலமாகக் கருதினால், அது நீளத்தை தரத்துடன் தவறாக சமன்படுத்துகிறது என்பது தெளிவாகிறது); இது வெகுமதி மாதிரி (reward model) மற்றும் கொள்கை மாதிரி (policy model) ஆகியவற்றின் இணை-பரிணாமத்தை (co-evolution) ஆதரிக்கிறது, பாரம்பரிய முறைகளைப் போலல்லாமல், வெகுமதி மாதிரி நிலையானதாக இருக்கும்.

செயல்முறை வெகுமதி vs. விளைவு வெகுமதி: பல-சுற்று பணிகளுக்கான முக்கிய தேர்வு¶

கடன் ஒதுக்கீடு (credit assignment) மற்றும் பகுதி கவனிப்புத் திறன் (partial observability) ஆகியவற்றிற்கு அப்பால், பல-சுற்று பணிகள் நீண்ட-தூர சார்பு (long-distance dependency) பிரச்சினையையும் எதிர்கொள்கின்றன—ஆரம்ப முடிவுகளின் தாக்கம், துணை-இலக்கு அமைத்தல் அல்லது கருவி தேர்வு போன்றவை, பல படிகள் கழித்து மட்டுமே வெளிப்படையாகத் தெரியும். இது வெகுமதி வடிவமைப்பில் ஒரு முக்கிய தேர்வை முன்வைக்கிறது: செயல்முறை வெகுமதி (Process Reward) ஒவ்வொரு படியிலும் பின்னூட்டத்தை வழங்குகிறது, கடன் ஒதுக்கீட்டின் சிரமத்தைக் குறைக்கிறது, ஆனால் மனித வடிவமைப்பு சார்பை (human design bias) அறிமுகப்படுத்தி, ஆய்வு இடத்தை (exploration space) கட்டுப்படுத்தக்கூடும். விளைவு வெகுமதி (Outcome Reward) இறுதியில் மட்டுமே பின்னூட்டத்தை வழங்குகிறது, அதிகபட்ச ஆய்வு சுதந்திரத்தை அளிக்கிறது, ஆனால் அதிக பயிற்சி சிரமம் மற்றும் மாதிரி தேவைகளைக் கொண்டுள்ளது. ஒப்புமை மூலம், செயல்முறை வெகுமதி என்பது ஒரு ஆசிரியர் ஒவ்வொரு வீட்டுப்பாடக் கணக்கையும் தனித்தனியாக மதிப்பெண் போடுவது போன்றது, மாணவர் தவறு எங்கு நடந்தது என்பதை விரைவாக அறிய அனுமதிக்கிறது; விளைவு வெகுமதி என்பது இறுதித் தேர்வு மதிப்பெண்ணை மட்டும் பார்ப்பது போன்றது, மாணவருக்கு கற்றல் முறைகளை ஆராய அதிக சுதந்திரம் அளிக்கிறது, ஆனால் பின்னூட்டம் மிகவும் தாமதமாக வருகிறது. வெகுமதி செயல்பாட்டு வடிவமைப்பு, அத்தியாயம் 6 இல் விவாதிக்கப்பட்ட மதிப்பீட்டு சூழல் கட்டமைப்புடன் (evaluation environment construction) நெருங்கிய தொடர்புடையது—உயர்தர தானியங்கி மதிப்பீட்டு சூழல் RL பயிற்சிக்கு ஒரு முன்நிபந்தனையாகும்.

சொல்லியல் ரீதியாக, இந்த இரண்டு வெகுமதிகளும் இரண்டு வகையான வெகுமதி மாதிரிகளுக்கு ஒத்திருக்கின்றன: செயல்முறை வெகுமதி மாதிரி (Process Reward Model - PRM) என்பது பகுத்தறிவு அல்லது செயல்பாட்டின் ஒவ்வொரு இடைநிலைப் படியையும் மதிப்பெண் செய்கிறது. இதற்கான முன்னணி பணி OpenAI-யின் "Let's Verify Step by Step" [^ch7-7] ஆகும்—கணித பகுத்தறிவுப் பணிகளில், படிப்படியான மனித குறிப்புகளுடன் பயிற்றுவிக்கப்பட்ட PRM-கள், இறுதி விடையை மட்டுமே பார்த்த மேற்பார்வையை விட கணிசமாக சிறப்பாக செயல்பட்டன. விளைவு வெகுமதி மாதிரி (Outcome Reward Model - ORM) என்பது இறுதி முடிவை மட்டுமே மதிப்பீடு செய்கிறது. முன்னர் விவாதிக்கப்பட்ட RLVR-இல் உள்ள விதி அடிப்படையிலான சரிபார்ப்பான் (rule-based verifier) ORM-இன் ஒரு சிறப்பு நிகழ்வாகக் கருதப்படலாம்—"கற்றறிந்த மதிப்பெண் மாதிரியை" உறுதியான விதிகளால் மாற்றுகிறது.

நடைமுறையில் கடன் ஒதுக்கீடு (Credit Assignment). பொறியியல் அடிப்படையில், கடன் ஒதுக்கீடு பல குறிப்பிட்ட வழிமுறைகளால் கையாளப்படுகிறது. பல-சுற்று LLM RL-இல் தள்ளுபடி காரணி $\gamma$ பொதுவாக நேரடியாக 1 ஆக அமைக்கப்படுகிறது: பணிகள் சில சுற்றுகள் முதல் டஜன் கணக்கான சுற்றுகள் வரை மட்டுமே நீடிக்கும், மேலும் உகப்பாக்க இலக்கு இறுதி வெற்றி அல்லது தோல்வியாகும்; "முந்தைய வெற்றிக்கு" வெகுமதிகளை தள்ளுபடி செய்ய வேண்டிய அவசியமில்லை. PPO ஆனது GAE (Generalized Advantage Estimation) ஐ நம்பியுள்ளது, இது ஒரு மதிப்பு நெட்வொர்க்கைப் பயன்படுத்தி, பாதையில் உள்ள ஒவ்வொரு படியும் "எதிர்பார்த்ததை விட எவ்வளவு சிறந்தது" என்பதை மதிப்பிடுகிறது, இது சார்பு மற்றும் மாறுபாட்டிற்கு இடையே எடைபோட்ட சமரசத்தை செய்கிறது. GRPO மறுமுனைக்குச் செல்கிறது: இது முழு பதிலையும் ஒரு ஒற்றை செயலாகக் கருதுகிறது, மேலும் பாதை-நிலை நன்மை (trajectory-level advantage) அனைத்து டோக்கன்களுக்கும் சமமாக பகிர்ந்தளிக்கப்படுகிறது—சுற்று 2-ல் உள்ள ஒரு துல்லியமான கேள்விக்கும், சுற்று 7-ல் உள்ள ஒரு பயனற்ற இனிமையான வார்த்தைக்கும் ஒரே மாதிரியான கடன் கிடைக்கிறது. இந்த தோராயமான கடன் ஒதுக்கீடு குறுகிய, ஒற்றை-சுற்று பணிகளில் குறைவான சிக்கலை ஏற்படுத்தும், ஆனால் நீண்ட-கால, பல-சுற்று பணிகளில் கற்றல் சமிக்ஞையை நீர்த்துப்போகச் செய்கிறது—இதனால்தான் மதிப்பு நெட்வொர்க்கைக் கொண்ட PPO பல-சுற்று சூழ்நிலைகளில் மதிப்புமிக்கதாக உள்ளது. ஒரு இடைநிலை அணுகுமுறை சுற்று-நிலை கடன் ஒதுக்கீடு ஆகும்: "சுற்று" மட்டத்தில் நன்மைகளைக் கணக்கிடுதல் (எ.கா., ஒவ்வொரு சுற்றுக்குப் பிறகும் சுற்றுச்சூழல் பின்னூட்டம் அல்லது செயல்முறை வெகுமதிகளைப் பயன்படுத்துதல்), இது டோக்கன்-நிலையை விட மலிவானது மற்றும் பாதை-நிலையை விட நுணுக்கமானது, இது தற்போதைய பல-சுற்று ஏஜெண்ட் RL கட்டமைப்புகளில் ஒரு பொதுவான சமரசத்தை பிரதிபலிக்கிறது.

சோதனை 7-12 ★★★: V-IRL-VL இடஞ்சார் பகுத்தறிவு—செயல்முறை வெகுமதி

V-IRL (Yang et al., 2024; இந்த சோதனை மேற்கூறிய Chu et al. 2025 ஆய்வைப் பின்பற்றுகிறது, RL அல்காரிதமும் மதிப்பு நெட்வொர்க்கைக் கொண்ட PPO ஆகும்) என்பது உண்மையான நகரத் தெருக் காட்சிகளைப் பயன்படுத்தும் ஒரு திறந்த-உலக காட்சி வழிசெலுத்தல் சூழலாகும். V-IRL-L தூய உரை விளக்கங்களைப் பயன்படுத்துகிறது, அதேசமயம் V-IRL-VL 2×2 கட்டமைப்பில் தெருக் காட்சி படங்களை (முன், பின், இடது, வலது) வழங்குகிறது. பயிற்சிக்கு நியூயார்க்கில் 1000 வழித்தடங்கள் பயன்படுத்தப்படுகின்றன, சோதனைக்கு V-IRL அதிகாரப்பூர்வ பெஞ்ச்மார்க்கில் இருந்து ஒன்பது நகரங்கள் (மிலன், புது தில்லி, லண்டன், ஹாங்காங், போன்றவை) முழுவதும் 18 வழித்தடங்கள் பயன்படுத்தப்படுகின்றன—இவை மிகவும் மாறுபட்ட கட்டிடக்கலை பாணிகள், தெரு அமைப்புகள் மற்றும் விளக்கு நிலைமைகளைக் கொண்டுள்ளன.

விதி மாறுபாடு: பயிற்சி முழுமையான திசைகளை (வடக்கு/கிழக்கு) பயன்படுத்துகிறது, சோதனை சார்பு திசைகளை (இடது/வலது) பயன்படுத்துகிறது. காட்சி மாறுபாடு: குறுக்கு-நகர சோதனை.

முடிவுகள் மீண்டும் உறுதிப்படுத்துகின்றன: "SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது." விதி OOD: V-IRL-L-ல் RL +11.0% முன்னேற்றம் காட்டுகிறது, அதேசமயம் SFT 79.5% குறைகிறது; V-IRL-VL-ல், RL +9.3% முன்னேறுகிறது, SFT 33.2% குறைகிறது. காட்சி OOD: V-IRL-VL-ல் RL 16.7% இலிருந்து 77.8% ஆக முன்னேறுகிறது (+61.1%), மூடிய-மூல மாதிரியுடன் கவனமான prompt engineering-ஐ நம்பியிருக்கும் வலுவான அடிப்படை மாதிரியை, திறந்த-மூல மாதிரியுடன் கூடிய end-to-end RL முறியடிக்கிறது; SFT 11.1% ஆகக் குறைகிறது (-5.6%).

இந்தச் சோதனையில் செயல்முறை வெகுமதி (process reward) முக்கியப் பங்கு வகித்தது. ஒற்றை-சுற்று GeneralPoints பணியைப் போலல்லாமல், வழிசெலுத்தலுக்கு ஒவ்வொரு அடியிலும் கருத்து தேவைப்படுகிறது: சரியான செயல் +1, தவறான செயல் -1, அடையாளக் குறி அங்கீகாரப் பிழைக்கு கூடுதலாக -1.5. இந்த அடர்த்தியான கருத்து (dense feedback), நீண்ட-வரிசை கடன் ஒதுக்கீட்டின் (long-sequence credit assignment) சிரமத்தைக் குறைக்கிறது—ஏஜெண்ட் படி 5-ல் தவறான திருப்பத்தை எடுக்கும்போது, படி 20-ல் பணி முடியும் வரை காத்திருக்காமல், உடனடி எதிர்மறை கருத்தைப் பெறுகிறது. சரிபார்ப்பு மறுமுயற்சி பொறிமுறையுடன் (verify_iter=2, ஒரு முடிவுப் புள்ளியில் இரண்டு முயற்சிகளை அனுமதிக்கிறது) இணைந்து, இது சாம்பிள் திறன் மற்றும் பயிற்சி நிலைத்தன்மையை மேலும் மேம்படுத்துகிறது.

காட்சி அங்கீகாரத் துல்லியத்திற்கும் ஒட்டுமொத்த செயல்திறனுக்கும் இடையிலான உறவைக் கண்காணிப்பது வெளிப்படுத்துகிறது: RL, "அங்கீகார முடிவுகளைக் கொண்டு முடிவெடுப்பதை" மட்டும் மேம்படுத்தாமல், "காட்சி அங்கீகாரத்தையும்" மேம்படுத்துகிறது—இலக்கு சார்ந்த தேர்வுமுறை சமிக்ஞை (outcome-oriented optimization signal) உணர்வு அடுக்குக்கு (perception layer) பின்னோக்கிப் பரவி, காட்சி குறியாக்கியானது பணி-தொடர்புடைய அம்சப் பிரதிநிதித்துவங்களைக் (task-relevant feature representations) கற்றுக்கொள்ளத் தூண்டுகிறது. இதற்கு மாறாக, SFT காரண அடுக்கில் (reasoning layer) அதிகப் பொருத்தம் (overfit) கொள்ள முனைகிறது, உணர்வு அடுக்கில் கற்றலைப் புறக்கணித்து, காட்சித் தோற்றம் மாறும்போது தோல்வியடைய வழிவகுக்கிறது.

பல-சுற்று பணிகளில் SFT மற்றும் RL இடையேயான ஒருங்கிணைப்பு இன்னும் தெளிவாகத் தெரிகிறது. SFT துவக்கம் இல்லாமல், RL-ஐ திறம்படப் பயிற்றுவிக்க முடியாது (அடிப்படை மாதிரியால் கட்டமைக்கப்பட்ட JSON வெளியீட்டை உருவாக்க முடியாது). இருப்பினும், SFT அதிகமாகப் பயிற்றுவிக்கப்பட்டு, கடுமையான அதிகப் பொருத்தத்திற்கு (severe overfitting) வழிவகுத்தால், RL-ஆல் விநியோகத்திற்கு வெளியே (OOD) செயல்திறனை மீட்டெடுக்கவும் முடியாது. இது ஒரு நுட்பமான சமநிலை: SFT ஆனது "நிலையான வடிவம் மற்றும் அடிப்படைத் திறன்" அடையும் அளவுக்கு மட்டுமே பயிற்றுவிக்கப்பட வேண்டும், அதற்கு மேல் அல்ல.

சோதனை 7-13 ★★★: SimpleVLA-RL—விளைவு வெகுமதி (Outcome Reward) [நீட்டிக்கப்பட்ட சோதனை]

VLA (Vision-Language-Action) மாதிரிகள் காட்சி உணர்வு, மொழி புரிதல் மற்றும் செயல் உருவாக்கம் ஆகியவற்றை ஒருங்கிணைத்து, ரோபோ கையாளுதலில் ஒரு வளர்ந்து வரும் முன்னுதாரணத்தை பிரதிநிதித்துவப்படுத்துகின்றன. இது இரண்டு முக்கிய சவால்களை எதிர்கொள்கிறது: SFT-ஐ அளவிடுவதற்கு பெரிய அளவிலான மனித செயல்பாட்டுப் பாதைகள் தேவை (அதிக சேகரிப்புச் செலவு மற்றும் வரையறுக்கப்பட்ட பன்முகத்தன்மை), மேலும் வரையறுக்கப்பட்ட சூழ்நிலைகளில் பயிற்றுவிக்கப்பட்ட மாதிரிகள், பார்த்திராத பணிகள், சூழல்கள் அல்லது பொருட்களை சந்திக்கும் போது மோசமாக செயல்படுகின்றன. DeepSeek-R1 படிப்படியான பகுத்தறிவில் RL மூலம் ஏற்படுத்திய குறிப்பிடத்தக்க முன்னேற்றத்தால் ஈர்க்கப்பட்டு, இந்த சோதனையானது RL ஆனது VLA-வின் படிப்படியான செயல் உருவாக்கத்தை இதேபோல் மேம்படுத்த முடியுமா என்பதை ஆராய்கிறது. SimpleVLA-RL ஆனது veRL-ஐ அடிப்படையாகக் கொண்டு கட்டமைக்கப்பட்டுள்ளது, இது பைனரி விளைவு வெகுமதிகளை (வெற்றி/தோல்வி) மட்டுமே பயன்படுத்துகிறது, மேலும் மூன்று ஆய்வு மேம்பாட்டு நடவடிக்கைகளை அறிமுகப்படுத்துகிறது: டைனமிக் சாம்ப்ளிங் (Dynamic Sampling) அனைத்து வெற்றிகள் அல்லது அனைத்து தோல்விகள் கொண்ட குழுக்களை வடிகட்டி நிலையான சாய்வுகளை உறுதி செய்கிறது; அதிக கிளிப்பிங் எல்லைகள் [0.8, 1.28] ஆய்வை ஊக்குவிக்கிறது; அதிக வெப்பநிலை 1.6 பல்வேறு பாதைகளை உருவாக்குகிறது. இந்த மூன்றின் கலவையானது 300 படிகளுக்குள் செயல்திறனை தோராயமாக 30% மேம்படுத்துகிறது.

இது LIBERO (ஒரு ரோபோ கையாளுதல் பணி அளவுகோல்) இல் 97.6% என்ற உயர் மட்ட முடிவைப் பதிவு செய்கிறது. குளிர்-தொடக்க சோதனை: ஒரு பணிக்கு 1 பாதை மட்டுமே SFT (17.3%) க்கு இருந்த நிலையில், RL ஐ சேர்ப்பது 91.7% ஐ அடைகிறது (+74.4 சதவீத புள்ளிகள், தோராயமாக ~430% ஒப்பீட்டு முன்னேற்றம்), தரவு பற்றாக்குறையின் கீழ் RL-ன் சக்தியை வலுவாக நிரூபிக்கிறது.

பயிற்சியின் போது, ஒரு "புஷ்கட்" (pushcut) செயல் வெளிப்பட்டது—RL ஆல் தன்னாட்சியாக கண்டுபிடிக்கப்பட்ட ஒரு புதிய செயல் முறை, இது மனித விளக்கங்களில் ஒருபோதும் காணப்படவில்லை. நிலையான விளக்கப் பாதை "அணுகு → பிடி → செங்குத்தாக தூக்கு → கிடைமட்டமாக நகர்த்து → விடு" ஆக இருந்தது, அதேசமயம் RL ஒரு திறமையான பாதையை கண்டுபிடித்தது: "அணுகு → பிடி → தாழ்வாக வைத்திரு → கிடைமட்டமாக தள்ளு → முடி", இது தூக்கும் படியை நீக்கி, அதிக வேகத்தையும் குறைந்த துல்லியத் தேவைகளையும் விளைவித்தது. RL ஆனது மனிதர்களால் ஒருபோதும் கருத்தில் கொள்ளப்படாத உயர்ந்த உத்திகளைக் கண்டறிய, பின்பற்றல் கற்றலை (imitation learning) மிஞ்ச முடியும் என்பதை இது வலுவாக நிரூபிக்கிறது.

கட்டமைப்பானது GRPO அல்காரிதத்தை ஒரு டைனமிக் சாம்ப்ளிங் உத்தியுடன் பயன்படுத்துகிறது—மிதமான வெற்றி விகிதங்களைக் கொண்ட பணிகளை மட்டுமே பயிற்சிக்காகத் தக்கவைத்து, இயற்கையாகவே ஒரு பாடத்திட்டத்தை (எளிதிலிருந்து கடினம் வரை) உருவாக்குகிறது. நிகழ்நேர செயல்திறன் ஆக்ஷன் சங்கிங் (action chunking) ஐ நம்பியுள்ளது: மாதிரியானது ஒரு அனுமானப் பாஸில் பல எதிர்கால செயல்களை உருவாக்குகிறது, அவை ஒரு கட்டுப்பாட்டு நூலால் வரிசையாக செயல்படுத்தப்படுகின்றன, அதே நேரத்தில் GPU பின்னணியில் அடுத்த தொகுப்பை ஒத்திசைவற்ற முறையில் உருவாக்குகிறது. அனுமான நேரம் செயல்படுத்தும் நேரத்தை விட குறைவாக இருக்கும் வரை, ரோபோ தொடர்ச்சியான, மென்மையான இயக்கத்தை பராமரிக்கிறது (ஆக்ஷன் சங்கிங் பற்றிய முழு விவாதம் அத்தியாயம் 9, VLA கட்டுப்பாட்டு அடுக்கில் உள்ளது).

பொதுமைப்படுத்தல் திறன் மேம்பாடுகள் பல பரிமாணங்களில் காணப்படுகின்றன: இடஞ்சார் பொதுமைப்படுத்தல் (குறிப்பிட்ட தளவமைப்புகளில் பயிற்றுவிக்கப்பட்ட உத்திகள் வெவ்வேறு கட்டமைப்புகளுக்கு மாற்றப்படுகின்றன), பொருள் பொதுமைப்படுத்தல் (பார்த்திராத பொருள் வடிவங்கள் மற்றும் அமைப்புகளைக் கையாளுதல்), மற்றும் இலக்கு பொதுமைப்படுத்தல் (புதிய பணி இலக்கு விளக்கங்களுக்கு ஏற்ப மாற்றியமைத்தல்).

V-IRL-VL உடன் ஒப்பிடுவது இரண்டு வெகுமதி வடிவமைப்புகளின் பரிமாற்றங்களை வெளிப்படுத்துகிறது: முடிவு வெகுமதிகள் (outcome rewards) மெல்லிய சமிக்ஞைகளை வழங்குகின்றன, ஆனால் மாதிரிக்கு அதிக ஆய்வு சுதந்திரத்தை (exploration freedom) அளிக்கின்றன ("pushcut" எவ்வாறு கண்டுபிடிக்கப்பட்டது என்பது இதுதான்); செயல்முறை வெகுமதிகள் (process rewards) அடர்த்தியான பின்னூட்டத்தின் மூலம் ஒருங்கிணைப்பை (convergence) விரைவுபடுத்துகின்றன, ஆனால் மூலோபாயம் விளக்க இடத்திலிருந்து (demonstration space) வெளியேறுவதைக் கட்டுப்படுத்தலாம். எளிமையாகச் சொன்னால், இடைநிலை படிகளின் சரியான தன்மையை வரையறுப்பது எளிதாக இருக்கும்போது, செயல்முறை வெகுமதிகள் மிகவும் திறமையானவை; உகந்த பாதை தெரியாதபோது, முடிவு வெகுமதிகள் அதிக ஆற்றலைக் கொண்டுள்ளன.

முடிவுக்கு வெகுமதி, செயல்முறையைக் கட்டுப்படுத்து: RLVP மற்றும் பகுதி வெகுமதிகள்¶

செயல்முறை வெகுமதிகள் மற்றும் முடிவு வெகுமதிகள் "பின்னூட்டம் எவ்வளவு அடர்த்தியாக இருக்க வேண்டும்" என்பதைக் குறிப்பிடுகின்றன. ஆனால் முந்தைய RL முறைகள் எதுவும் சமாளிக்காத ஒரு சிக்கல் உள்ளது: முடிவு வெகுமதிகள் "செயல்முறை விதிகளைப் பின்பற்ற வேண்டும்" என்ற தேவையை வெறுமனே வெளிப்படுத்த முடியாது —இதுவே உண்மையான உலக Agent-ஐப் பயன்படுத்த முடியுமா என்பதைத் தீர்மானிக்கிறது. இந்தப் பகுதி இதை முழுமையாக விளக்குகிறது, RLVP கட்டுரையின்[^ch7-9] (Reinforcement Learning with Verified Penalty) முறையைப் பயன்படுத்துகிறது. ஒரு வாக்கியத்தில் செய்முறை: முடிவுக்கு வெகுமதி, பாதைக்கு அபராதம்.

சிக்கல்: முடிவு வெகுமதிகள் கற்றுக்கொள்ளத் தவறுவது மட்டுமல்லாமல், மீறுவதற்கு தீய ஊக்கத்தையும் (perverse incentives) வழங்கும் ஒரு வகை கட்டுப்பாடுகள் உள்ளன. உண்மையான உலக Agents, "வேலையை முடிப்பதுடன்" கூடுதலாக, முடிவு-நடுநிலை கட்டுப்பாடுகள் (outcome-neutral constraints) எனப்படும் ஒரு வகை கட்டுப்பாடுகளைக் கடைப்பிடிக்க வேண்டும் —அவை பின்பற்றப்பட்டாலும் இல்லாவிட்டாலும் பணி வெற்றியுடன் அவசியமான தொடர்பு இல்லை: வெளிப்படையாக மறுத்த பயனரை மீண்டும் மீண்டும் அழைக்காதீர்கள், வேலை நேரத்திற்கு வெளியே தானியங்கி முறையில் செயல்படாதீர்கள், அடையாள சரிபார்ப்பைத் தவிர்க்காதீர்கள், rm -rf போன்ற அழிவுகரமான கட்டளைகளை இயக்காதீர்கள், சோதனைகளை வெற்றிபெறச் செய்ய சோதனைக் கோப்புகளை மாற்றாதீர்கள், ஒரு கோப்பைப் படிக்காமல் மேலெழுதாதீர்கள். சிக்கல் என்னவென்றால்: இந்தக் கட்டுப்பாடுகளை மீறுவது பெரும்பாலும் அதிக "தோற்ற வெற்றி விகிதங்களுக்கு" (apparent success rates) வழிவகுக்கிறது —குறுக்கு வழிகள் வேகமானவை: உண்மையான பிழையைச் சரிசெய்வதை விட சோதனைக் கோப்பை நேரடியாக மாற்றுவது வெற்றிபெற வேகமானது; முழு செயல்முறையையும் மேற்கொள்வதை விட சரிபார்ப்பைத் தவிர்ப்பது முடிவுகளைப் பெற வேகமானது. எனவே, தூய முடிவு வெகுமதிகள் இந்தக் கட்டுப்பாடுகளைக் கற்றுக்கொள்ளத் தவறுவது மட்டுமல்லாமல், Agent-ஐ அவற்றை மீறுவதற்கு செயலில் ஊக்குவிக்கின்றன. கட்டுரையில், முடிவு வெகுமதிகளுடன் மட்டுமே பயிற்றுவிக்கப்பட்ட Agents கிட்டத்தட்ட ஒவ்வொரு எபிசோடிலும் விதிகளை மீறின.

மையக் கருத்து: உண்மையான சூழல்கள் "சமச்சீரற்ற சரிபார்ப்பிகள்." இதுவே முழு முறையையும் புரிந்துகொள்வதற்கான திறவுகோல். ஒரு இயந்திரத்தால் சரிபார்க்கக்கூடிய சூழலில் (டெர்மினல், கோட்பேஸ், தேற்றம் நிரூபிப்பான்), ஒரு விஷயத்தை சரிபார்ப்பது எளிது—ஒரு செயல் கெட்ட செயலா (அழிவுகரமான கட்டளையை இயக்கியது, முன்நிபந்தனைகள் பூர்த்தியாகும் முன் அழைத்தது), ஏனெனில் கெட்ட செயல்கள் தெளிவான, உறுதியான பண்புகளைக் கொண்டிருக்கும். ஆனால் மற்றொரு விஷயத்தை சரிபார்ப்பது கடினம்—ஏஜெண்ட் இலக்கை நோக்கி அர்த்தமுள்ள முன்னேற்றம் செய்கிறதா (இது "பணியைத் தீர்ப்பது" போலவே கடினம்). "கெட்ட செயல்களைக் கண்டறிதல்" மலிவானதும் நம்பகமானதுமாக இருப்பதால், "முன்னேற்றத்தை மதிப்பிடுதல்" விலை உயர்ந்ததும் பிழை ஏற்பட வாய்ப்புள்ளதுமாக இருப்பதால், சூழல் நம்பகத்தன்மையுடன் வழங்கக்கூடிய அடர்த்தியான சமிக்ஞை அடிப்படையில் "பாதையில் அபராதங்கள்," "முன்னேற்றத்திற்கான வெகுமதிகள்" அல்ல. இந்த சமச்சீரற்ற தன்மைதான் முறையின் வடிவத்தை தீர்மானிக்கிறது.

அணுகுமுறை: விளைவு வெகுமதிகளுடன் கூடுதலாக, சரிபார்க்கக்கூடிய "பாதை சமிக்ஞை" ஒன்றைச் சேர்க்கவும். மொத்த வெகுமதி இரண்டு பகுதிகளாக எழுதப்படுகிறது:

\[R = O + \beta\cdot\Phi\]

O என்பது அசல் விளைவு வெகுமதி (அரிதானது, இன்னும் உண்மையான இலக்கு); Φ என்பது பாதை சமிக்ஞை, இது ஒரு உறுதியான விதி இயந்திரத்தால் செயல்-செயலாக வழங்கப்படுகிறது—இது "செயல் + செயலுக்கு முந்தைய நிலை" பற்றிய தூய செயல்பாட்டு தீர்ப்பாகும், கற்றறிந்த நீதிபதி மாதிரி அல்ல. Φ க்கு இரண்டு பயன்பாடுகள் உள்ளன, இது ஒரு கழித்தல் குறி மற்றும் ஒரு கூட்டல் குறியுடன் ஒத்துள்ளது:

அபராதம் (−λ): பாதையில் இயந்திரத்தால் சரிபார்க்கக்கூடிய மீறல் செயல் (அழிவுகரமான கட்டளை, சோதனைக் கோப்பை மாற்றியமைத்தல்) ஒவ்வொரு முறை நிகழும்போதும், அந்த செயலின் டோக்கன்களிலிருந்து λ புள்ளிகளைக் கழிக்கவும்.
இணக்கம் வெகுமதி / பகுதி கடன் (+μ): ஒவ்வொரு முறை சரிபார்க்கக்கூடிய நல்ல செயல் நிகழும்போதும்—முன்நிபந்தனையை பூர்த்தி செய்தல், ஒரு துணை இலக்கை அடைதல், தேர்ச்சி பெற்ற சோதனைகளின் எண்ணிக்கையை அதிகரித்தல், அல்லது நிரூபிக்க வேண்டிய இலக்குகளின் எண்ணிக்கையைக் குறைத்தல்—μ புள்ளிகளைச் சேர்க்கவும்.

இரண்டு சமிக்ஞைகளும் ஒருங்கிணைக்கப்படுவதற்கு முன் ஒவ்வொன்றும் தனித்தனியாக இயல்பாக்கப்படுகின்றன, இது ஒரு அடர்த்தியான பாதை சமிக்ஞை ஒரு அரிதான விளைவு சமிக்ஞையை (அல்லது நேர்மாறாக) மூழ்கடிப்பதைத் தடுக்கிறது. இந்த வழிமுறை நேரடியாக PPO/GRPO பயிற்சி சுழற்சியில் செருகப்படுகிறது: இது உகப்பாக்க அல்காரிதத்தை மாற்றாது, ஒவ்வொரு படியிலும் வெகுமதியை மறுவடிவமைக்கிறது, இது நன்மை கணக்கீடு வழியில் சரியான மற்றும் தவறான செயல்களைப் பார்க்க அனுமதிக்கிறது.

இது ஏன் வேலை செய்கிறது—ஒரு ஒருங்கிணைந்த விளக்கம்: குழுவிற்குள் மாறுபாடு. பிரிவு 7.8 ஐ நினைவுபடுத்தவும்: GRPO ஒரு மதிப்பு நெட்வொர்க்கைப் பயிற்றுவிப்பதில்லை. அதற்குப் பதிலாக, அதே தூண்டுதலுக்காக ஒரு குழுவை (G ரோல்அவுட்கள்) மாதிரி எடுத்து, ஒவ்வொரு ரோல்அவுட்டின் குழு சராசரியுடன் ஒப்பிடும்போது அதன் ஒப்பீட்டு நன்மையை நன்மையாகப் பயன்படுத்துகிறது. இங்கே ஒரு கணித உண்மை உள்ளது: GRPO இன் நன்மை அடிப்படையில் குழுவிற்குள் மாறுபாடு—ஒரு குழுவில் உள்ள ஒவ்வொரு ரோல்அவுட்டும் சரியாக ஒரே வெகுமதியைப் பெற்றால், மாறுபாடு பூஜ்ஜியமாகும், ஒவ்வொரு ரோல்அவுட்டின் நன்மையும் பூஜ்ஜியமாகும், மேலும் குழு எந்த சாய்வையும் பங்களிக்காது, கணக்கீட்டை வீணடிக்கிறது.

விளைவு-மட்டும் வெகுமதிகளுடன், இந்த "பூஜ்ஜிய-மாறுபாடு முடக்கம்" இரண்டு சூழ்நிலைகளில் தவிர்க்க முடியாமல் நிகழ்கிறது, அவை பயிற்சியின் ஆரம்பம் மற்றும் முடிவில் மிகவும் பொதுவானவை:

அனைத்தும் தோல்வி குழு (ஆரம்ப பயிற்சி): பணி மிகவும் கடினமானது; ஒரு குழுவில் உள்ள அனைத்து ரோல்அவுட்களும் தோல்வியடைகின்றன, O அனைத்தும் 0 → குழுவிற்குள் உள்ள மாறுபாடு பூஜ்ஜியம் → சாய்வு இல்லை. ஆரம்ப பயிற்சி கிட்டத்தட்ட முழுவதுமாக இத்தகைய குழுக்களைக் கொண்டுள்ளது, அதிக எண்ணிக்கையிலான விலையுயர்ந்த மாதிரிகளை வீணாக்குகிறது.
அனைத்தும் வெற்றி குழு (தாமத பயிற்சி): பணி கிட்டத்தட்ட கற்றுக்கொள்ளப்பட்டது; ஒரு குழுவில் உள்ள அனைத்து ரோல்அவுட்களும் வெற்றியடைகின்றன, O அனைத்தும் 1 → மாறுபாடும் பூஜ்ஜியம் → சாய்வு இல்லை.

வேறு வார்த்தைகளில் கூறுவதானால், தூய விளைவு வெகுமதிகள் வெற்றி விகிதத்தின் இரு முனைகளிலும் "குருடாக" உள்ளன. சமூகத்தின் முந்தைய அணுகுமுறை இந்த பூஜ்ஜிய-மாறுபாடு குழுக்களை நிராகரிப்பதாக இருந்தது (DAPO இன் டைனமிக் சாம்ப்ளிங், அனைத்து ரோல்அவுட்களும் சரியாக அல்லது தவறாக இருக்கும் ப்ராம்ப்ட்களை நிராகரிக்கிறது). RLVP வேறுபட்ட கேள்வியைக் கேட்கிறது: நிராகரிப்பதற்குப் பதிலாக, காணாமல் போன மாறுபாட்டை மீட்டெடுக்க என்ன அடர்த்தியான சிக்னல்கள் இங்கே உதவும்? பதில் உடனடியாகத் தெளிவாகிறது:

சரிபார்க்கக்கூடிய அபராதம் எப்போதும் மாறுபாட்டை மீட்டெடுக்க முடியும். ஒரு குழுவில் உள்ள அனைத்து ரோல்அவுட்களும் தோல்வியடைந்தாலும், அவை பொதுவாக எப்படி தோல்வியடைகின்றன என்பதில் வேறுபடுகின்றன—சில அழிவுகரமான கட்டளைகளை இயக்குகின்றன, மற்றவை இயக்குவதில்லை. அபராதத்தைச் சேர்ப்பது உடனடியாக அனைத்து-தோல்வி குழுவிற்குள் வேறுபாடுகளை (மாறுபாட்டை) உருவாக்குகிறது, சாய்வை மீண்டும் உயிர்ப்பிக்கிறது. கெட்ட செயல்களைச் சரிபார்ப்பது மலிவானது என்பதால், அபராதங்கள் தீர்வின் "எப்போதும் அடையக்கூடிய" பாதியாகும்.
சரிபார்க்கக்கூடிய முன்னேற்ற வெகுமதி (பகுதி கிரெடிட்) முன்னேற்றம் அடையக்கூடியதாக இருக்கும்போது மட்டுமே மாறுபாட்டை மீட்டெடுக்க முடியும். ஒரு குழுவில் உள்ள சில ரோல்அவுட்கள் மேலும் இரண்டு சோதனைகளில் தேர்ச்சி பெற்றால் அல்லது இன்னும் ஒரு லெம்மாவை நிரூபித்தால், அவை முன்னேற்றத்தில் வேறுபடுகின்றன, மேலும் +μ மாறுபாட்டை உருவாக்க முடியும். ஆனால் பணி மிகவும் கடினமாக இருந்து, ஒவ்வொரு ரோல்அவுட்டின் முன்னேற்றமும் பூஜ்ஜியத்தில் சிக்கியிருந்தால் (எ.கா., மென்பொருள் பழுதுபார்ப்பில், யாராலும் எந்த மறைக்கப்பட்ட சோதனையிலும் தேர்ச்சி பெற முடியவில்லை என்றால்), முன்னேற்ற சிக்னல் எல்லா இடங்களிலும் பூஜ்ஜியமாக இருக்கும், இதன் விளைவாக பூஜ்ஜிய மாறுபாடு ஏற்படுகிறது—அப்போது அது உதவ முடியாது. எனவே முன்னேற்ற வெகுமதிகள் தீர்வின் "அடையக்கூடிய தன்மை-கேட்" பாதியாகும்: தேற்றம் நிரூபிப்பில், "நிரூபிக்க வேண்டிய இலக்குகளின் எண்ணிக்கை" படிப்படியாகக் குறையும் போது, அது அடையக்கூடியதாகவும் பயனுள்ளதாகவும் இருக்கும்; மென்பொருள் பழுதுபார்ப்பில், "தேர்ச்சி பெற்ற சோதனைகளின் விகிதம்" பெரும்பாலும் அடைய முடியாததாக இருக்கும் போது, அது பயனற்றதாக இருக்கும்.

சுருக்கமாக: அடர்த்தியான சிக்னல்கள், விளைவு வெகுமதிகளில் இருந்து காணாமல் போன குழுவிற்குள் மாறுபாட்டை மீட்டெடுக்க முடிந்தால் மட்டுமே பயனுள்ளதாக இருக்கும்—அபராதங்கள் எப்போதும் இதைப் பூர்த்தி செய்கின்றன (கெட்ட செயல்கள் சரிபார்க்கக்கூடியவை), அதேசமயம் முன்னேற்ற வெகுமதிகள் பகுதி வெற்றி அடையக்கூடியதாக இருக்கும்போது மட்டுமே இதைப் பூர்த்தி செய்கின்றன. எனவே, கட்டுரை அபராதங்களை "எப்போதும் கிடைக்கக்கூடிய பாதி" என்றும், முன்னேற்ற வெகுமதிகளை "நிபந்தனைக்குட்பட்ட பாதி" என்றும் அழைக்கிறது.

பயன்பாட்டு வழக்கு 1: பயன்படுத்தக்கூடிய தன்மைக்காக பாதைகளை அபராதம் விதித்தல்—நான்கு வடிவமைப்புக் கொள்கைகள். Φ ஐ ஒரு அபராதமாகப் பயன்படுத்தி, ஒரு ஏஜெண்டைக் கட்டுப்பாடுகளைப் பின்பற்றக் கற்றுக்கொடுக்க, அப்லேஷன் மூலம் சரிபார்க்கப்பட்ட நான்கு கொள்கைகள் உள்ளன, ஒவ்வொன்றும் ஒரு குறிப்பிட்ட குறைபாட்டைக் கையாளுகிறது:

சரிபார்க்கக்கூடிய "செயல்களை" மட்டுமே அபராதம் விதிக்கவும், "முன்னேற்றமின்மையை" ஒருபோதும் அபராதம் விதிக்க வேண்டாம். அபராதத்தின் இலக்கு ஒரு குறிப்பிட்ட, இயந்திரத்தால் கண்டறியக்கூடிய கெட்ட செயலாக இருக்க வேண்டும் (எ.கா., rm -rf ஐ இயக்குதல், முன்நிபந்தனையைப் பூர்த்தி செய்யாமல் ஒருவரை அழைத்தல்), "இந்த படிநிலையில் முன்னேற்றம் இல்லை" அல்ல. ஏனென்றால், "எதுவும் செய்யாமல் இருப்பது" ஒரு "முன்னேற்றமின்மை" அபராதத்தைத் தவிர்ப்பதற்கான எளிதான வழியாகும்—இது நேரடியாக ஏஜெண்டுக்கு எதுவும் செய்யாமல் இருக்கக் கற்றுக்கொடுக்கும்.
விளைவு வெகுமதிகள் எப்போதும் முதன்மை இயக்கி; அபராதங்களை மட்டும் தனியாக மேம்படுத்த முடியாது. ஒரு ஆபத்தான செயலற்ற பொறி (inaction trap) உள்ளது: விளைவு வெகுமதிகள் இல்லாமல் அபராதங்கள் மட்டும் இருந்தால், உகந்த உத்தி "எதுவும் செய்யாமல் இருப்பது"—பூஜ்ஜிய மீறல்கள், ஆனால் பூஜ்ஜிய வெற்றியும் கூட. கட்டுரையில் உள்ள நீக்கல் சோதனைகள் (ablations) காட்டுவது, தூய அபராதங்கள் ஒவ்வொரு சீரற்ற விதை (random seed) லும் வெற்றி விகிதங்களை பூஜ்ஜியமாக சரிவடையச் செய்கின்றன. விளைவு வெகுமதிகள் பணியை முடிப்பதற்கான "இழுப்பை" வழங்க வேண்டும், அதே நேரத்தில் அபராதங்கள் எப்படி செய்வது என்பதை மட்டுமே வழிகாட்டுகின்றன.
ஒவ்வொரு அபராதத்திற்கும் (−λ) ஒரு தொடர்புடைய இணக்க வெகுமதியை (+μ) இணைக்கவும். "சோதனை கோப்புகளை மாற்றியமைப்பதற்கு" புள்ளிகளை கழிக்கவும், ஆனால் "உண்மையில் பிழையை சரிசெய்து இயற்கையாகவே அதை நிறைவேற்ற" என்ற இணக்கமான செயலுக்கும் வெகுமதி அளிக்கவும்—ஏஜெண்டிற்கு ஒரு வெளியேறும் வழியைக் கொடுங்கள், ஒரு தடுப்பை மட்டும் அல்ல. நீக்கல் சோதனைகள் காட்டுவது, இந்த இணைக்கப்பட்ட இணக்க வெகுமதியை அகற்றுவது இணக்க நடத்தையின் கற்றலை கணிசமாக மெதுவாக்கி, நிலையற்றதாக்குகிறது.
இணக்கமான பாதைகள் அடையக்கூடியதாக இருக்க வேண்டும், மேலும் அபராத இலக்குகள் ஏமாற்ற முடியாததாக இருக்க வேண்டும். "விதிகளை எவ்வாறு பின்பற்றுவது" என்பதை முதலில் ஏஜெண்டிற்குக் காண்பிக்க சில ஸ்கிரிப்ட் செய்யப்பட்ட செயல்விளக்கங்களைப் பயன்படுத்தவும் (இல்லையெனில் அது இணக்கமான செயல்களை ஒருபோதும் ஆராயாமல் போகலாம், மேலும் +μ ஒருபோதும் பயன்படுத்தப்படாது). அதே நேரத்தில், "எது மீறலாகக் கருதப்படுகிறது" என்பதற்கான தீர்ப்பு குறிப்பிட்ட, உறுதியான சோதனைகளைப் பயன்படுத்த வேண்டும், கற்றறிந்த "இணக்க மதிப்பெண்" நீதிபதியை அல்ல—இல்லையெனில், ஏமாற்றும் பிரச்சனை கொள்கையிலிருந்து நீதிபதிக்கு மாறுகிறது.

பயன்பாட்டு வழக்கு 2: சாம்பிள் திறனுக்காக அடையக்கூடிய முன்னேற்றத்திற்கு வெகுமதி அளித்தல் (பகுதி கடன்). அதே +μ ஐ "இணக்க வெகுமதியில்" இருந்து "முன்னேற்ற வெகுமதியாக" மறுபயன்படுத்துவதன் மூலம், அது "செயல்முறையை கட்டுப்படுத்துவதில்" இருந்து "கற்றலை விரைவுபடுத்துவதற்கு" மாறுகிறது: அனைத்து-தோல்வி குழுக்களில், முன்னேற்றம் அடையக்கூடியதாக இருக்கும் வரை, +μ ஒரு பூஜ்ஜிய-சாய்வு முடக்கத்தை ஒரு பயனுள்ள சாய்வாக மாற்ற முடியும், இது மாதிரியை குறைந்த விலையுயர்ந்த தொடர்புகளுடன் அதே திறனை அடைய அனுமதிக்கிறது. கட்டுரை தேற்றம் நிரூபித்தல் (miniF2F) மற்றும் மென்பொருள் பழுதுபார்ப்பு ஆகியவற்றில் ஒப்பீடுகளை மேற்கொள்கிறது, முக்கிய மாறி அடையக்கூடிய தன்மை (reachability) தான், சமிக்ஞை "அடர்த்தியானதா" இல்லையா என்பது அல்ல என்று முடிவு செய்கிறது: தேற்றம் நிரூபிப்பதில், ஒவ்வொரு நிரூபிக்கப்பட்ட படியும் நிரூபிக்க வேண்டிய இலக்குகளின் எண்ணிக்கையை உண்மையில் குறைக்கிறது, முன்னேற்றம் அடையக்கூடியது, மேலும் அடர்த்தியான முன்னேற்ற வெகுமதிகள் ஒருங்கிணைப்பை கணிசமாக விரைவுபடுத்துகின்றன (மேலும் குறைந்த வேறுபாட்டுடன், அதிக நிலையானவை). இருப்பினும், மென்பொருள் பழுதுபார்ப்பில், பெரும்பாலும் ஒரு முழு தொகுதி ரோல்அவுட்களும் ஒரு சோதனையை கூட நிறைவேற்ற முடியாது, முன்னேற்றம் அடைய முடியாதது, மேலும் இந்த விஷயத்தில், தூய விளைவு வெகுமதிகளுடன் ஒட்டிக்கொள்வது சிறந்தது. அடிப்படை மாதிரியிலிருந்து ஒரு சிறிய எண்ணிக்கையிலான ரோல்அவுட்களைப் பயன்படுத்தி குழுவிற்குள் மாறுபாட்டை அளவிடுவதன் மூலம் பயிற்சிக்கு முன்பே அடையக்கூடிய தன்மையை கண்டறிய முடியும்.

RLVR உடனான உறவு (பொதுவான குழப்பத்தை தெளிவுபடுத்துதல்). RLVP மற்றும் இந்த அத்தியாயத்தில் மீண்டும் மீண்டும் குறிப்பிடப்பட்டுள்ள RLVR (Reinforcement Learning with Verifiable Rewards) ஆகியவை ஒரே ஒரு எழுத்தில் மட்டுமே வேறுபடுகின்றன, இது அவற்றின் நிரப்புத்தன்மையை நேர்த்தியாக எடுத்துக்காட்டுகிறது: RLVR விளைவுகளை சரிபார்க்கிறது; RLVP கூடுதலாக செயல்முறைகளை சரிபார்க்கிறது. இரண்டையும் இணைப்பது "வேலையை முடிப்பதில்" கவனம் செலுத்தும் மற்றும் "அதை சரியாக செய்வதில்" கவனம் செலுத்தும் ஒரு பயிற்சி சமிக்ஞையை அளிக்கிறது—பாதுகாப்பாக பயன்படுத்தக்கூடிய ஒரு ஏஜெண்டிற்கு இது தேவையானதாகும்.

சோதனை 7-14 ★★★: RLVP—விளைவுகளுக்கு வெகுமதி, பாதைகளுக்கு அபராதம் [நீட்டிக்கப்பட்ட சோதனை]

சோதனை நோக்கம்: "விளைவு வெகுமதிகள் + சரிபார்க்கக்கூடிய பாதை சமிக்ஞைகள்" பணி வெற்றி விகிதத்தை தியாகம் செய்யாமல், ஒருபுறம் கட்டுப்பாடு மீறல்களை (அபராதப் பயன்பாடு) குறைக்கவும், மறுபுறம் சாம்பிள் திறனை (பகுதி கடன் பயன்பாடு) மேம்படுத்தவும் முடியுமா என்பதை சரிபார்க்கவும்.

தொழில்நுட்ப அணுகுமுறை: GRPO-வின் மேல், இரண்டு சமிக்ஞைகளைச் சேர்க்கவும்—விளைவு வெகுமதி O (பணி முடிந்ததா இல்லையா) மற்றும் பாதை சமிக்ஞை Φ (பாதையில் இயந்திரம் கண்டறியக்கூடிய ஒவ்வொரு மீறல் செயலுக்கும் புள்ளிகள் கழிக்கப்படும், ஒவ்வொரு தொடர்புடைய இணக்கம்/முன்னேற்றச் செயலுக்கும் புள்ளிகள் சேர்க்கப்படும்). ஒவ்வொன்றையும் தனித்தனியாக இயல்பாக்கி R = O + β·Φ ஆக இணைக்கவும். சோதனை சூழல்களில் TerminalBench (முனைய செயல்பாடுகள், அழிவுகரமான கட்டளைகளை இயக்குதல் போன்ற மீறல்கள்) மற்றும் miniF2F (முறையான தேற்றம் நிரூபித்தல், சாம்பிள் திறனை ஆய்வு செய்தல்) ஆகியவை அடங்கும்.

கட்டுப்பாட்டுக் குழு: விளைவு வெகுமதிகளை மட்டுமே பயன்படுத்தும் நிலையான GRPO.

எதிர்பார்க்கப்படும் அவதானிப்புகள்: TerminalBench-இல் (Qwen3-4B, 5 சீரற்ற விதைகள்), தூய விளைவு வெகுமதிகளுடன் ஒரு எபிசோடுக்கான மீறல்களின் எண்ணிக்கை 3.71-லிருந்து 0.66-ஆக குறைகிறது (சுமார் 6 மடங்கு குறைப்பு), அதே நேரத்தில் பணி வெற்றி விகிதம் தோராயமாக இரைச்சல் வரம்பிற்குள் உள்ளது—இது "இணக்கம் கிட்டத்தட்ட இலவசம்" என்பதையும், ஏஜெண்ட் உண்மையில் அதிக பயனுள்ள செயல்களைச் செய்கிறார், வெறுமனே "குறைவான தவறுகளைச் செய்ய குறைவாகச் செய்வது" அல்ல என்பதையும் குறிக்கிறது. miniF2F இயற்கணித சிக்கல்களில் (முன்னேற்றம் அடையக்கூடியது), 0.9 வெற்றி விகிதத்தை அடைய தேவையான மறு செய்கைகளின் எண்ணிக்கை 7.0-லிருந்து 4.4-ஆக குறைகிறது (4B மாதிரி), பெரிய மாதிரிகளில் இன்னும் பெரிய இடைவெளியுடன் (30B: 8.5 → 5.4, மற்றும் தூய விளைவு வெகுமதிகள் சில விதைகளில் வேறுபடுகின்றன). ஒரு சங்கிலி கோப்பு செயல்பாட்டுப் பணியில், "அனைத்து-தோல்வி குழுக்களின்" விகிதம் (எதையும் கற்காத வீணான மாதிரிகள்) 65% இலிருந்து 8% ஆக குறைகிறது. எதிர் உதாரணமாக, முன்னேற்றம் அடைய முடியாத மென்பொருள் பழுதுபார்க்கும் அமைப்பில், ஒரு முழு தொகுதி ரோல்அவுட்கள் பெரும்பாலும் ஒரு சோதனையில் கூட தேர்ச்சி பெற முடியாது, அடர்த்தியான முன்னேற்ற வெகுமதி எல்லா இடங்களிலும் பூஜ்ஜியமாக இருந்து எந்தப் பயனும் அளிக்காது—"அடையக்கூடிய தன்மையே வரம்பு" என்பதை உறுதிப்படுத்துகிறது.

கருவி அழைப்பைக் கற்றுக்கொள்வதற்கான RL¶

முந்தைய பல-சுற்று சோதனைகளில், ஏஜெண்டின் செயல் இடம் நகர்த்துதல் மற்றும் கவனித்தல் போன்ற உள்ளமைக்கப்பட்ட செயல்பாடுகளுக்கு மட்டுப்படுத்தப்பட்டிருந்தது. நிஜ உலக ஏஜெண்டுகள் பல்வேறு வெளிப்புற கருவிகளையும் அழைக்க வேண்டும்—தேடுபொறிகள், குறியீடு மொழிபெயர்ப்பாளர்கள், ஆவண பாகுபடுத்திகள் போன்றவை—இது RL பயிற்சிக்கு புதிய சவால்களை அறிமுகப்படுத்துகிறது.

படம் 7-18: கருவி அழைப்பு RL வெகுமதி சுழற்சி

கருவி பயன்பாடு (tool use) என்பது ஏஜெண்டின் (agent) திறன் எல்லையை "மாதிரியின் சொந்த பகுத்தறிவில்" இருந்து "வெளிப்புற அமைப்புகளை ஒத்துழைப்புக்காக அழைப்பது" வரை விரிவுபடுத்துகிறது, இது நடைமுறை ஏஜெண்டுகளை நோக்கிய ஒரு முக்கிய படியாக அமைகிறது. சிரம நிலைப்பாட்டில் இருந்து பார்க்கும்போது, கருவி பயன்பாட்டிற்கான RL பயிற்சி மூன்று நிலை சவால்களை எதிர்கொள்கிறது. முதல் நிலை, ஒற்றைக் கருவியைப் பயன்படுத்தக் கற்றுக்கொள்வது—உள்ளீடு/வெளியீடு விவரக்குறிப்புகளைப் புரிந்துகொள்வது, அழைப்பதற்கான சரியான தருணத்தைக் கைவரப் பெறுவது மற்றும் பிழை பின்னூட்டத்தைக் கையாள்வது. இரண்டாம் நிலை, பல கருவிகள் கொண்ட சூழலில் தேர்வுகளை மேற்கொள்வது—டஜன் கணக்கான கருவிகளை எதிர்கொண்டு, எப்போது தேட வேண்டும், எப்போது குறியீட்டை இயக்க வேண்டும், எப்போது ஆவணங்களைப் பாகுபடுத்த வேண்டும் என்பதை முடிவு செய்வது. மூன்றாம் நிலை, கருவி சங்கிலி ஒருங்கிணைப்பு (tool chain orchestration)—கருவிகளுக்கு இடையேயான சார்புகளைக் கண்டறிதல், பரஸ்பர விலக்கு கட்டுப்பாடுகளை அடையாளம் காணுதல் மற்றும் செலவுத் திறனை மேம்படுத்துதல்.

தற்போது, கருவி அழைப்புக்கான ஏஜெண்ட் RL ஐச் சுற்றி இரண்டு செயலில் ஆராய்ச்சிப் பாதைகள் உள்ளன. ஒன்று மீட்டெடுப்பு விரிவாக்கம் (retrieval augmentation): Search-R1 (Jin et al., 2025) ஆல் பிரதிநிதித்துவப்படுத்தப்படுகிறது, இது RL ஐப் பயன்படுத்தி, நிலையான RAG குழாயைப் பின்பற்றாமல், சிந்தனை செயல்பாட்டின் போது எப்போது தேடலைத் தொடங்க வேண்டும் மற்றும் திரும்பப் பெறப்பட்ட முடிவுகளைப் பயன்படுத்தி தொடர்ந்து பகுத்தறிய வேண்டும் என்பதை மாதிரி சுயாதீனமாக முடிவெடுக்கப் பயிற்றுவிக்கிறது. மற்றொன்று மென்பொருள் பொறியியல் (software engineering): SWE-Gym போன்ற பயிற்சி சூழல்களால் பிரதிநிதித்துவப்படுத்தப்படுகிறது, இவை உண்மையான குறியீட்டுத் தளங்களில் குறியீட்டு ஏஜெண்டுகளில் பல-சுற்று RL ஐச் செய்கின்றன, மாதிரி மீண்டும் மீண்டும் குறியீட்டைத் திருத்தவும், இயக்கவும் மற்றும் சரிசெய்யவும் அனுமதிக்கிறது. இரண்டு பாதைகளுக்கும் பொதுவான சவால்கள் நீண்ட கால கடன் ஒதுக்கீடு (long-term credit assignment) (இறுதி வெற்றியை பல படிகள் முன்பு எடுக்கப்பட்ட முடிவுக்குக் காரணம் கூறுதல்) மற்றும் சூழல் பொறியியல் (நிலையான, மீள்உருவாக்கக்கூடிய மற்றும் பாரிய இணைமயமாக்கக்கூடிய பயிற்சி சூழல்களை உருவாக்குதல்) ஆகும்.

கருவி RL க்கு தவிர்க்க முடியாத ஒரு பொறியியல் விவரமும் உள்ளது: சூழல் பின்னூட்ட டோக்கன்களுக்கான இழப்பு மறைத்தல் (loss masking for environment feedback tokens). ஒரு கருவி அழைப்புப் பாதையில் மாதிரியால் உருவாக்கப்பட்ட டோக்கன்கள் (சிந்தனை, கருவி அழைப்பு அளவுருக்கள்) மற்றும் சூழலால் திரும்பப் பெறப்பட்ட டோக்கன்கள் (குறியீடு மொழிபெயர்ப்பாளர் வெளியீடு, தேடல் முடிவுகள், வாடிக்கையாளர் சேவை பதில்கள்) ஆகிய இரண்டும் உள்ளன. பிந்தையவை கொள்கையால் (policy) உருவாக்கப்படவில்லை, மாறாக சூழலால் வழங்கப்படுகின்றன—அவை கொள்கை சாய்வில் (policy gradient) சேர்க்கப்பட்டால், மாதிரியானது "சாண்ட்பாக்ஸ் என்ன வெளியிடும் என்பதைக் கணிக்க" பயிற்றுவிக்கப்படும், இது உகப்பாக்க நோக்கத்திலிருந்து விலகி பயிற்சியை நிலையற்றதாக்கும். நிலையான நடைமுறை, இழப்பைக் கணக்கிடும்போது சூழல் பின்னூட்ட டோக்கன்களை மறைத்து, மாதிரியால் உருவாக்கப்பட்ட டோக்கன்களுக்கு மட்டுமே சாய்வுகளை பின்பரப்புவதாகும். இது ReTool இன் முக்கிய தொழில்நுட்ப புள்ளிகளில் ஒன்றாகும் (<interpreter> குறிச்சொற்களுக்குள் பின்னூட்ட டோக்கன்களுக்கான சாய்வுகளை மறைத்தல்), மேலும் Search-R1 இது "பயிற்சியை நிலைப்படுத்த மீட்டெடுக்கப்பட்ட டோக்கன்களை மறைத்தல்" என்று குறிப்பிடுகிறது. veRL மற்றும் AWorld போன்ற முக்கிய பயிற்சி கட்டமைப்புகளில் இந்த வழிமுறை உள்ளமைக்கப்பட்டுள்ளது.

சோதனை 7-15 ★★★: ReTool—குறியீடு மொழிபெயர்ப்பாளர் மேம்படுத்தப்பட்ட கணிதச் சிக்கல் தீர்வு

தூய உரை சிந்தனை (pure text thinking) துல்லியமான எண்ணியல் கணக்கீடுகள், குறியீட்டுச் செயல்பாடுகள் அல்லது சிக்கலான சமன்பாடு தீர்வுகளில் (எ.கா., பத்து தொடர்ச்சியான பெருக்கல் படிகள், ஒவ்வொன்றும் தவறாக இருக்கலாம்) குவிந்த பிழைகளுக்கு ஆளாகிறது. குறி மொழிபெயர்ப்பிகள் (code interpreters) ஒரு செயல்படுத்தக்கூடிய இடைமுகம் மூலம் துல்லியமான சரிபார்ப்பை வழங்குகின்றன. ReTool ஆனது, குறி மொழிபெயர்ப்பியின் நிகழ்நேர செயலாக்கத்தை RL சிந்தனை வளையத்தில் ஒருங்கிணைத்து, மாதிரியானது முடிவு பின்னூட்டத்தின் வழிகாட்டுதலின் கீழ் கருவியை எப்போது, எப்படிப் பயன்படுத்த வேண்டும் என்பதை தன்னாட்சியாகக் கற்றுக்கொள்ள அனுமதிக்கிறது.

பயிற்சி இரண்டு நிலைகளாகப் பிரிக்கப்பட்டுள்ளது. SFT வார்ம்-அப் (சுமார் 1 மணி நேரம்) தூய உரை பகுத்தறிவுத் தரவை குறி-மேம்படுத்தப்பட்ட பாதைகளாக மாற்றி, அடிப்படை கருவி அழைப்பு முறைகளை நிறுவுகிறது. RL பயிற்சி (மாற்றியமைக்கப்பட்ட veRL அடிப்படையிலான PPO, DAPO-Math-17k இலிருந்து பயிற்சித் தரவு, 400 படிகளுக்கு சுமார் 9 நாட்கள்) நிகழ்நேர குறி செயலாக்கத்துடன் இடைவெட்டப்பட்ட ரோல்அவுட்கள் மூலம் கொள்கையை மேம்படுத்துகிறது: மாதிரியானது <code> குறிச்சொற்களைக் கொண்ட குறியீட்டை உருவாக்குகிறது, சாண்ட்பாக்ஸ் அதைச் செயல்படுத்தி முடிவை பின்னூட்டத்திற்காக <interpreter> குறிச்சொற்களில் போர்த்துகிறது, மாதிரியானது தொடர்ந்து உருவாக்கி, "உரை 1 + குறி 1 + பின்னூட்டம் 1 + ... + பதில்" என்ற கலப்பு பகுத்தறிவு வரிசையை உருவாக்குகிறது. ஒவ்வொரு பயிற்சிப் படியும் 512 பதில்களை (32 கேள்விகள் × 16 வேட்பாளர்கள்) உருவாக்குகிறது, ஒரு பதிலுக்கு சராசரியாக 7-9 இடைவினைச் சுற்றுகள் உள்ளன, மேலும் மொத்த டோக்கன் செயலாக்கம் ஆரம்ப 25M இலிருந்து 40M ஆக வளர்கிறது.

ReTool தானே நிலையான PPO ஐப் பயன்படுத்துகிறது மற்றும் உகப்பாக்க அல்காரிதத்தை மாற்றாது. இருப்பினும், அதன் பயிற்சித் தரவு DAPO குழுவின் DAPO-Math-17k இலிருந்து வருகிறது, எனவே இந்த வாய்ப்பைப் பயன்படுத்தி சமீபத்தில் பிரபலமான DAPO அல்காரிதத்தை (Yu et al., 2025) அறிமுகப்படுத்துகிறோம். இது நிலையான PPO ஐ விட நான்கு மேம்பாடுகளைச் செய்கிறது, இதன் முக்கிய நோக்கம் மாதிரியானது ஒரு ஒற்றை மூலோபாயத்திற்கு (ஒரே ஒரு வழியில் மட்டுமே சிக்கல்களைத் தீர்ப்பது) முன்கூட்டியே ஒருங்கிணைவதைத் தடுப்பதாகும்:

Clip-Higher (ஆய்வு மேல் எல்லையை தளர்த்துதல்): நிலையான PPO ஒவ்வொரு பயிற்சிப் படியிலும் கொள்கை மாற்றத்தின் அளவைக் கட்டுப்படுத்துகிறது—மிகப் பெரிய மாற்றம் பயிற்சியை சீர்குலைக்கும். ஆனால் மிகவும் கடுமையான வரம்பு மாதிரியானது "புதிய பாதைகளை முயற்சிக்க பயப்பட" வைக்கிறது. Clip-Higher இந்த வரம்பை மிதமாக தளர்த்துகிறது: மாதிரியானது தற்செயலாக ஒரு தெளிவாக சிறந்த பாதையைக் கண்டறிந்தால், அதை நோக்கி மிகவும் தைரியமாக சரிசெய்ய அனுமதிக்கப்படுகிறது, இதன் மூலம் ஆய்வு ஊக்குவிக்கப்படுகிறது.

Token-Level Policy Gradient Loss (ஒவ்வொரு டோக்கனுக்கும் சம எடை): அசல் GRPO மாதிரி மட்டத்தில் இழப்பை இயல்பாக்குகிறது—முதலில் ஒவ்வொரு பதிலுக்குள்ளும் டோக்கன்களின் எண்ணிக்கையால் சராசரியாக்கி, பின்னர் மாதிரிகள் முழுவதும் சராசரியாக்குகிறது—இது ஒரு நீண்ட பதிலில் உள்ள ஒவ்வொரு டோக்கனையும் 1/|o_i| ஆல் நீர்த்துப்போகச் செய்கிறது: உயர்தர நீண்ட சிந்தனைச் சங்கிலிகள் போதுமான வெகுமதியைப் பெறுவதில்லை, மேலும் வாய்மொழி மீண்டும் மீண்டும் வருவதற்கு போதுமான தண்டனை கிடைப்பதில்லை. DAPO இன் Token-Level Policy Gradient Loss இந்த மாதிரி-நிலை சராசரியை நீக்கி, அதற்குப் பதிலாக முழு தொகுப்பிலும் உள்ள அனைத்து டோக்கன்களிலும் ஒரே சீராக இயல்பாக்குகிறது, ஒவ்வொரு டோக்கனுக்கும் சம எடையை வழங்குகிறது; நேரடி விளைவு என்னவென்றால், நீண்ட பதில்கள் அவற்றின் நீளத்திற்கு ஏற்ற சாய்வு பங்களிப்பைப் பெறுகின்றன.

Dynamic Sampling (கணக்கீட்டின் புத்திசாலித்தனமான ஒதுக்கீடு): பயிற்சியின் போது ஒரு கேள்விக்கான சாம்பிள்களின் எண்ணிக்கையை மாறும் வகையில் சரிசெய்யவும்—மாதிரி ஏற்கனவே நிலையாக தீர்க்கக்கூடிய எளிய கேள்விகளுக்கான மாதிரியைக் குறைக்கவும் (மேலும் பயிற்சி சிறிய பலனை அளிக்கிறது), மேலும் 20% முதல் 80% வரை வெற்றி விகிதங்களைக் கொண்ட "கற்றல் வரம்பில்" உள்ள கேள்விகளுக்கான மாதிரியை அதிகரிக்கவும் (இவை மிகவும் தகவல் தரக்கூடியவை), மிகவும் மதிப்புமிக்க தரவுகளில் கணக்கீட்டை செறிவூட்டவும்.

Overlong Reward Shaping (விரிவான பதில்களுக்கு அபராதம்): அதிக நீளமான பதில்களுக்கு மென்மையான அபராதத்தைப் பயன்படுத்தவும். மாதிரி சிறப்பாக பதிலளிக்காமல் மிக நீண்ட சிந்தனை செயல்முறையை உருவாக்கும் போது, அமைப்பு அதன் வெகுமதி மதிப்பெண்ணைக் குறைத்து, மிகவும் சுருக்கமான மற்றும் திறமையான சிந்தனையைக் கற்றுக்கொள்ள வழிகாட்டுகிறது.

ReTool க்குத் திரும்புக. AIME 2024 இல், Qwen2.5-32B-Instruct அடிப்படையிலான பயிற்சி, ஆரம்ப ~25% இலிருந்து 110-படி இடைநிலை சோதனைப் புள்ளியில் 52% ஆக துல்லிய முன்னேற்றத்தை அடைந்தது (Best-of-30 85% ஐ எட்டியது); 400 படிகளுக்குப் பிறகு கட்டுரையின் இறுதி முடிவு 67.0% ஆக இருந்தது, அதேசமயம் 1080 படிகளுக்குப் பிறகு தூய உரை RL அடிப்படை 40.0% மட்டுமே இருந்தது. இந்த சோதனை பெட்டியில் உள்ள பயிற்சி இயக்கவியல் எண்கள் அனைத்தும் இந்த 32B மாதிரி உள்ளமைவை அடிப்படையாகக் கொண்டவை.

வெளிப்படும் திறன்கள்: குறியீடு சுய-திருத்தம் (செயலாக்க பிழைகளை அடையாளம் கண்டு தானாகவே சரிசெய்யப்பட்ட பதிப்புகளை உருவாக்குதல்), கருவி பயன்பாடு தாமதமான-நிலை சரிபார்ப்பிலிருந்து ஆரம்ப-நிலை ஆய்வுக்கு மாறுதல், மற்றும் மேம்படுத்தப்பட்ட சிந்தனை திறன் (துல்லியம் அதிகரிக்கும் போது நீளம் 40% குறைக்கப்பட்டது).

முதல் 110 படிகளுக்கான பயிற்சி இயக்கவியல் மூன்று-கட்ட முறையைக் காட்டுகிறது: ஆரம்ப (0-20 படிகள்) அடிப்படை கருவி பயன்பாட்டின் விரைவான கற்றல், ஒரு படிக்கு 0.5% துல்லியம் மேம்படுதல்; நடுநிலை (20-70 படிகள்) ஊசலாடும் ஆய்வு, பதில் நீளம் 2500 இலிருந்து 4700 டோக்கன்களின் உச்சத்திற்கு அதிகரித்தல், கொள்கை பன்முகத்தன்மையில் எழுச்சி; பிற்பகுதி (70-110 படிகள்) நிலையான ஒருங்கிணைப்பு, நீளம் 4400 டோக்கன்களாக குறைதல், செயல்திறன் தொடர்ந்து மேம்படுதல் ஆனால் ஏற்ற இறக்கம் குறைதல்.

SFT மற்றும் RL இடையேயான நேரச் செலவில் உள்ள அடிப்படை வேறுபாடு வேறுபட்ட தகவல் அடர்த்தியிலிருந்து உருவாகிறது: SFT ஒவ்வொரு டோக்கனுக்கும் மேற்பார்வை சமிக்ஞையை வழங்குகிறது, அதேசமயம் RL ஒரு அத்தியாயத்திற்கு ஒரு வெற்றி/தோல்வி சமிக்ஞையை மட்டுமே வழங்குகிறது. நடைமுறையில், ஒரு படிக்கான நேரம் பதில் நீளத்துடன் அதிகரிக்கிறது, மேலும் சில மிக நீண்ட பதில்கள் முழு பயிற்சி சுழற்சியையும் கணிசமாக நீட்டிக்க முடியும்.

சோதனை 7-16 ★★★: AWorld-train — ஒரு மணல் பெட்டியில் கருவிகளைப் பயன்படுத்த கற்றல்

GAIA மிகவும் சவாலான ஏஜெண்ட் மதிப்பீட்டு அளவுகோல்களில் ஒன்றாகும். பெரிய அளவில் பயிற்றுவிக்கப்பட்ட பெரிய-அளவுரு மாதிரிகள் கூட சுமார் 32% மட்டுமே அடையக்கூடும், இது இன்னும் சிறந்த மதிப்பெண் பெற்ற அமைப்புகளை விட கணிசமாக பின்தங்கியுள்ளது. இந்த சோதனை ஒரு சிறிய மாதிரியை (Qwen3-4B) பயன்படுத்துகிறது, முதன்மை இலக்காக "நடைமுறையில் இருந்து கற்றல்" முழுமையான பயிற்சி குழாயை நிரூபிப்பதாகும்.

AWorld பயிற்சி சூழல் ஒரு MCP சர்வர் மணலறை (sandbox) ஆகும், இது 26 சர்வர்கள் மற்றும் 126 கருவி செயல்பாடுகளை வழங்குகிறது. இவை வலை தொடர்பு (Google தேடல், ஸ்மார்ட் பிரவுசர், பிளேரைட்), ஆவண செயலாக்கம் (CSV/DOCX/PPTX/PDF), மல்டிமீடியா செயலாக்கம் (ஆடியோ டிரான்ஸ்கிரிப்ஷன், OCR, வீடியோ சுருக்கம்), குறியீடு செயலாக்கம் (டெர்மினல் கட்டளைகள், E2B மணலறை), எக்செல் செயலாக்கம் (29 நிறுவன-நிலை செயல்பாடுகள்), மற்றும் அறிவு மீட்டெடுப்பு (விக்கிபீடியா, ArXiv, வேபேக் மெஷின்) ஆகியவற்றை உள்ளடக்குகின்றன. உண்மையான APIகளில் இருந்து வரும் விகித வரம்புகள், சேவை ஏற்ற இறக்கங்கள் மற்றும் கணக்கு தடைகள் காரணமாக, உற்பத்தி சூழலில் நேரடி பயிற்சி சாத்தியமற்றது—ஒரு நிலையான, கட்டுப்படுத்தக்கூடிய மற்றும் மீண்டும் இயக்கக்கூடிய உருவகப்படுத்துதல் சூழலை உருவாக்குவது பல-கருவி RL பயிற்சிக்கான பொறியியல் முன்நிபந்தனையாகும்.

ஒற்றை-கருவியிலிருந்து பல-கருவிக்கான தரமான பாய்ச்சல் இதில் உள்ளது: ஒரு ஒற்றை கருவிக்கு "எப்போது" மற்றும் "எப்படி" அழைப்பது என்பதை மட்டுமே தீர்மானிக்க வேண்டும்; பல-கருவி சூழ்நிலைகளில் "எதை அழைப்பது" மற்றும் "அவற்றை எவ்வாறு இணைப்பது" என்பதையும் தீர்க்க வேண்டும், இது சேர்க்கை வெடிப்பு மற்றும் சார்பு மேலாண்மை சிக்கலை அறிமுகப்படுத்துகிறது—கருவிகளுக்கு முன்நிபந்தனை சார்புகள் (ஒரு குறிப்பிட்ட பக்கத்தை உலாவும் முன் தேட வேண்டும்), பரஸ்பர விலக்கு கட்டுப்பாடுகள் (சில கருவிகளை ஒரே நேரத்தில் அழைக்க முடியாது), மற்றும் செலவு வேறுபாடுகள் (வெவ்வேறு APIகளுக்கு வெவ்வேறு ஒதுக்கீடுகள் மற்றும் தாமதங்கள் உள்ளன) உள்ளன. கொள்கையானது இந்த கட்டுப்பாடுகளின் கீழ் முழுமையாக திட்டமிட வேண்டும், உள்ளூரில் சிறந்த செயலை பேராசையுடன் தேர்ந்தெடுக்காமல்.

கவனிக்க வேண்டியது என்னவென்றால், இந்த சோதனையானது அடிப்படை முடிவுகள் இல்லாத திறந்த-முடிவு பயிற்சி சோதனை ஆகும்—Qwen3-4B அளவிலான ஒரு மாதிரி GAIA இல் ஈர்க்கக்கூடிய மதிப்பெண்களைப் பெற வாய்ப்பில்லை. இந்த சோதனையின் மதிப்பு, புதிய அளவுகோல்களை அமைப்பதில் இல்லை, மாறாக முழுமையான "நடைமுறையில் இருந்து கற்றல்" குழாயை முழுவதுமாக இயக்கிக் காட்டுவதில் உள்ளது. ஏற்கத்தக்க சரிபார்ப்பு அளவுகோல்கள் மற்றும் எதிர்பார்க்கப்படும் அவதானிப்புகள்: சூழலின் மீட்டமைப்பு மற்றும் எபிசோட் லூப் (கருவி அழைப்புகள், பின்னூட்டம், நிலை புதுப்பிப்புகள்) நிலையாக செயலிழப்பின்றி இயங்குகிறது; பயிற்சியின் போது சராசரி வெகுமதி வளைவு மேல்நோக்கிய போக்கைக் காட்டுகிறது; பயிற்சியுடன் கருவி அழைப்பு வெற்றி விகிதம் மேம்படுகிறது, மேலும் மாதிரி படிப்படியாக பல கருவிகளில் மிகவும் நியாயமான தேர்வுகள் மற்றும் சேர்க்கைகளை செய்ய கற்றுக்கொள்கிறது.

சாம்பிள் திறனை மேம்படுத்துவதற்கான முன்னணி ஆய்வு¶

மேலே விவரிக்கப்பட்ட சோதனைகள், ஏஜெண்ட் பயிற்சியில் RL இன் முக்கிய மதிப்பை முறையாக நிரூபித்துள்ளன, ஆனால் ஒவ்வொன்றும் கடுமையான சாம்பிள் செலவைச் செலுத்தியுள்ளன. ReTool இன் RL பயிற்சி நேரம் SFT ஐ விட 200 மடங்குக்கும் அதிகமாக இருந்தது (9 நாட்கள் vs. 1 மணி நேரம்), இது வள-கட்டுப்பாடு அல்லது விரைவான மறு செய்கை சூழ்நிலைகளில் ஏற்றுக்கொள்ள முடியாததாக இருக்கலாம்.

RL இன் குறைந்த சாம்பிள் திறனுக்கு பல காரணங்கள் உள்ளன (அதிக மாறுபாடு, அரிதான வெகுமதிகள், on-policy தரவை மீண்டும் பயன்படுத்துவதில் உள்ள சிரமம்). ஒரு முக்கியமான மூல காரணம், முக்கிய நீரோட்ட பாலிசி கிரேடியன்ட் முறைகளின் model-free தன்மையில் உள்ளது—அவை சூழல் இயக்கவியலை (ஒரு உலக மாதிரி, "ஒரு செயலைச் செய்த பிறகு உலகம் எப்படி இருக்கும்") மாதிரியாக்குவதில்லை, மேலும் ஒரு ஒற்றை பின்னூட்ட சமிக்ஞையில் உள்ள வளமான தகவலை எளிதில் பயன்படுத்திக் கொள்ளவும் முடியாது (இந்த இரண்டு புள்ளிகளும் தொடர்புடையவை ஆனால் ஒரே மாதிரியானவை அல்ல). ஒவ்வொரு தொடர்புக்குப் பிறகும் சூழலால் திரும்பக் கொடுக்கப்படும் வளமான பின்னூட்டம் (பிழை காரணங்கள், விடுபட்ட புலங்கள், சரியான நடைமுறை குறிப்புகள்) பெரும்பாலும் வீணாகிறது—முந்தைய பகுதியான "அரிதான வெகுமதிகளின் இக்கட்டான நிலை" இந்த சிக்கலை விரிவாக ஆய்வு செய்தது. வாடிக்கையாளர் சேவையை அழைக்கும் ஒரு சூழ்நிலையைக் கவனியுங்கள்: ஏஜெண்டிடம் வெளிப்படையாகச் சொல்லப்படுகிறது, "உங்கள் அடையாளத்தைச் சரிபார்க்க உங்கள் கிரெடிட் கார்டின் கடைசி நான்கு இலக்கங்கள் எனக்குத் தேவை," ஆனால் model-free RL ஆனது இறுதி வெற்றி/தோல்வி சமிக்ஞையிலிருந்து மட்டுமே (0 அல்லது 1 இன் வெகுமதி) கற்றுக்கொள்ள முடியும். இந்த வெளிப்படையான பின்னூட்டத்தை அது நேரடியாகப் பயன்படுத்த முடியாது, மேலும் கிரெடிட் கார்டு தகவலை வழங்குவதை தற்செயலாக முயற்சிக்க நூற்றுக்கணக்கான சீரற்ற ஆய்வுகளை நம்பியிருக்க வேண்டும். இந்த பின்னூட்டத்தைக் கேட்கும் ஒரு மனிதன், உடனடியாக அதை நினைவில் வைத்துக் கொண்டு, அடுத்த முறை அதை முன்கூட்டியே தயார் செய்வான்.

இந்த இடையூறைச் சமாளிக்க, இந்த அத்தியாயம் உண்மையில் இரண்டு நிரப்பு அணுகுமுறைகளை வழங்கியுள்ளது. ஒன்று, சூழல் பின்னூட்டத்திலிருந்து வீணாகும் தகவலை கற்றுக்கொள்ளக்கூடிய வெகுமதிகளாக மீண்டும் மாற்றுவது—"ஏஜெண்டுக்கு முதலில் அடையாளச் சரிபார்ப்பு தேவை," "இந்த கட்டளை அழிவுகரமானது," அல்லது "மற்றொரு படி நிரூபிக்கப்பட்டுள்ளது" போன்ற வெளிப்படையான, இயந்திரத்தால் தீர்மானிக்கக்கூடிய சமிக்ஞைகளை நேரடியாக வெகுமதி செயல்பாடாக மாற்றுவது. இது பிரிவு 7.10 இல் விவாதிக்கப்பட்ட RLVP முறையாகும் (குறிப்பாக, "வெகுமதிக்குரிய முன்னேற்றத்திற்கு" பகுதி வெகுமதிகளைப் பயன்படுத்துவது, முழுமையாக தோல்வியடைந்த குழுக்களிலிருந்து வீணான மாதிரிகளை மீட்டெடுக்க முடியும்). மற்ற அணுகுமுறை, இந்தப் பிரிவு முறையாக உருவாக்கும், ஒவ்வொரு அடியிலும் பயிற்சி சமிக்ஞையை அடர்த்தியாக்குவது: பணியின் முடிவில் ஒரு ஒற்றை வெற்றி/தோல்வி அளவுகோலை மட்டும் பெறுவதற்குப் பதிலாக, பாதையின் ஒவ்வொரு புள்ளியிலும் வழிகாட்டுதலை வழங்குவது. இதுவே On-Policy Distillation ஆகும்.

On-Policy Distillation: SFT மற்றும் RL இன் பலங்களை இணைத்தல்¶

On-Policy Distillation, 2025 இல் Thinking Machines Lab ஆல் முறையாக முன்மொழியப்பட்டு பிரபலப்படுத்தப்பட்டது[^ch7-10], பிந்தைய பயிற்சியில் மிகவும் முக்கிய நீரோட்ட முறையாக மாறியுள்ளது மற்றும் அதற்கு ஒரு அர்ப்பணிப்புள்ள விளக்கம் தேவை. இது எந்த சிக்கலைத் தீர்க்கிறது என்பதைப் புரிந்து கொள்ள, முதலில் SFT மற்றும் RL இரண்டின் முக்கியமான பலவீனத்தைப் பார்ப்போம்—On-Policy Distillation இரண்டின் நன்மைகளையும் நேர்த்தியாக இணைக்கிறது.

SFT-யின் பலவீனம்: கற்றவர்-மாதிரியெடுப்பவர் பொருந்தாமை. SFT-யின் பயிற்சித் தரவு ஒரு "மாதிரியெடுப்பவரால்" (ஆசிரியர் மாதிரி அல்லது மனித நிபுணர்) உருவாக்கப்படுகிறது, மேலும் "கற்றவர்" (பயிற்றுவிக்கப்படும் மாதிரி) இந்த சரியான பாதைகளை செயலற்ற முறையில் பின்பற்றுகிறது. பிரச்சனை என்னவென்றால், கற்றவர் சொந்தமாக செயல்படும்போது, அவர் தவிர்க்க முடியாமல் தவறுகளைச் செய்து, பயிற்சித் தரவில் ஒருபோதும் காணப்படாத விநியோகத்திற்கு வெளியே உள்ள நிலைகளுக்குச் செல்கிறார். இந்த நிலைகளில் இருந்து சரியான பாதைக்கு மீண்டும் எப்படி வருவது என்பதை அவர் ஒருபோதும் கற்றுக்கொள்ளவில்லை, எனவே சிறிய பிழைகள் பெரிய பிழைகளாக குவிந்துவிடும்—சரியான விடைகளை மட்டுமே மனப்பாடம் செய்த மற்றும் ஒரு இடைநிலை படி தவறாக இருந்தால் எப்படி மீள்வது என்று தெரியாத ஒரு மாணவரைப் போல. இதன் மூல காரணம், பயிற்சியின் போது "யார் செயல்படுகிறார்" என்பதன் விநியோகம் (ஆசிரியர்) பயன்பாட்டின் போது உள்ள விநியோகத்திலிருந்து (மாணவர் தானே) வேறுபடுகிறது.

RL-யின் பலவீனம்: சமிக்ஞைகள் மிகவும் அரிதானவை. RL மாணவர் தானே செயல்பட அனுமதிக்கிறது (ஆன்-பாலிசி), விநியோகப் பொருந்தாமையைத் தீர்க்கிறது. இருப்பினும், ஒவ்வொரு பாதையும் இறுதியில் ஒரு வெற்றி/தோல்வி அளவுகோலை மட்டுமே வழங்குகிறது. ஒவ்வொரு இடைநிலைப் படியையும் எவ்வாறு சரிசெய்வது என்பது நூற்றுக்கணக்கான அல்லது ஆயிரக்கணக்கான சோதனை-மற்றும்-பிழை முயற்சிகள் மூலம் தலைகீழாகப் பொறியியல் செய்யப்பட வேண்டும்.

ஆன்-பாலிசி டிஸ்டிலேஷன் இரண்டின் பலங்களையும் இணைக்கிறது: இது மாணவர் தனது சொந்த பாதைகளை உருவாக்க அனுமதிக்கிறது (ஆன்-பாலிசி, விநியோகப் பொருந்தாமையைத் தீர்க்கிறது), அதே நேரத்தில் ஒரு வலுவான ஆசிரியர் மாதிரி மாணவர் உருவாக்கும் ஒவ்வொரு டோக்கனுக்கும் ஒரு அடர்த்தியான சமிக்ஞையை வழங்குகிறது (அடர்த்தியான சமிக்ஞை, சமிக்ஞை அரிதான தன்மையைத் தீர்க்கிறது). மூன்று முறைகளின் ஒரு வரி ஒப்பீடு: SFT என்பது "ஆஃப்-பாலிசி + அடர்த்தியான சமிக்ஞை" (விநியோகப் பொருந்தாமை உள்ளது), RL என்பது "ஆன்-பாலிசி + அரிதான சமிக்ஞை" (பின்னூட்டம் அரிதானது), மற்றும் ஆன்-பாலிசி டிஸ்டிலேஷன் என்பது "ஆன்-பாலிசி + அடர்த்தியான சமிக்ஞை"—இரண்டு பலவீனங்களும் நிவர்த்தி செய்யப்படுகின்றன.

ஸ்கோரிங் எவ்வாறு சரியாக செய்யப்படுகிறது? ஆசிரியர் மாணவரின் படி சரியானதா என்பதை மட்டும் தீர்மானிக்கவில்லை; அது தற்போதைய நிலையில் அடுத்த டோக்கனுக்கான முழுமையான நிகழ்தகவு விநியோகத்தை வழங்குகிறது. எடுத்துக்காட்டாக, மாணவர் "முதலில் API-யை வினவவும், பின்னர் திரும்பும் மதிப்பைப் பாகுபடுத்தவும்..." என்று எழுதினால், ஆசிரியர் இந்த நிலையில், "வினவ" என்பதற்கு 80% நிகழ்தகவு, "அழை" என்பதற்கு 15%, மற்றும் மீதமுள்ள 5% மற்ற டோக்கன்களுக்கு இருக்க வேண்டும் என்று தீர்மானிக்கலாம். மாணவரின் கற்றல் நோக்கம், ஒவ்வொரு நிலையிலும் அதன் சொந்த முன்கணிப்பு விநியோகத்தை ஆசிரியரின் விநியோகத்திற்கு முடிந்தவரை நெருக்கமாக்குவதாகும். தொழில்நுட்ப ரீதியாக, இது இரண்டு விநியோகங்களுக்கும் இடையிலான KL வேறுபாட்டைக் குறைப்பதன் மூலம் அடையப்படுகிறது (KL வேறுபாடு இரண்டு நிகழ்தகவு விநியோகங்களுக்கும் இடையிலான வேறுபாட்டை அளவிடுகிறது; அது சிறியதாக இருந்தால், அவை நெருக்கமாக இருக்கும், மேலும் ஒரே மாதிரியாக இருக்கும்போது அது பூஜ்ஜியமாகும், பிரிவு 7.7 இல் விவரிக்கப்பட்டுள்ளது). இறுதி வெற்றி/தோல்வியின் பைனரி சமிக்ஞையுடன் ஒப்பிடும்போது, இந்த டோக்கன்-நிலை விநியோக சீரமைப்பு ஒரு வரிசை அளவை விட அதிக அடர்த்தியானது.

முடிவுகள் வியக்கத்தக்கவை: கணிதம் போன்ற பணிகளில், சமமான செயல்திறனை அடைய தூய RL-க்குத் தேவைப்படும் பயிற்சிப் படிகளில் தோராயமாக 1/10 மட்டுமே போதுமானது. நீண்ட சங்கிலி பகுத்தறிவுப் பணிகளில் இந்த நன்மை குறிப்பாகத் தெளிவாகத் தெரிகிறது—ஆசிரியர் ஒவ்வொரு படியிலும் வழிகாட்டுவதால், மாணவர் தவறான பாதையில் மேலும் நெகிழ்வதற்குப் பதிலாக விரைவாகப் பிழைகளைச் சரிசெய்யக் கற்றுக்கொள்கிறார். இது அதிகப் பொருத்தத்தைக் (overfitting) குறைக்கவும் உதவுகிறது: நிலையான RL-இல், ஒரே கேள்வியில் மீண்டும் மீண்டும் பயிற்சி செய்வது இறுதி விடையை மனப்பாடம் செய்வதற்கு வழிவகுக்கும். இங்கே, ஒவ்வொரு பாதையும் வேறுபட்டது, மேலும் ஆசிரியர் அந்தக் குறிப்பிட்ட பாதைக்கு ஏற்ற கருத்தை வழங்குகிறார், இது குறிப்பிட்ட விடைகளைக் கற்றுக்கொள்வதற்குப் பதிலாக ஒரு பொதுவான உத்தியைக் கற்றுக்கொள்ள வழிவகுக்கிறது, இதனால் தரவு மறுபயன்பாட்டுத் திறன் கணிசமாக மேம்படுகிறது.

இந்த முறை பல-சுற்று Agent காட்சிகளில் குறிப்பாக மதிப்புமிக்கது: வெற்றி/தோல்வி சமிக்ஞை இறுதியில் மட்டுமே தோன்றும், அது மிகவும் அரிதாகவும் தாமதமாகவும் இருக்கும். டோக்கன்-நிலை ஆசிரியர் பரவல் ஒவ்வொரு இடைநிலைப் படிக்குமான வழிகாட்டுதலின் பற்றாக்குறையைச் சரியாக நிரப்புகிறது. இருப்பினும், இந்த அத்தியாயத்தின் முக்கியக் கருத்தை எதிரொலிக்கும் ஒரு முன்நிபந்தனை உள்ளது: மாணவர் சுதந்திரமாக ஆராய்வதற்கு போதுமான யதார்த்தமான உருவகப்படுத்துதல் சூழல் அவசியம்—இல்லையெனில், மாணவர் ஆசிரியரும் பார்த்திராத ஒரு பரவலுக்கு அப்பாற்பட்ட நிலைக்குச் செல்லும்போது, ஆசிரியரின் மதிப்பெண் நம்பகத்தன்மையற்றதாக மாறும். On-Policy கற்றலின் மதிப்பு, "மாணவர் உண்மையிலேயே பயன்பாட்டுப் பரவலை ஆராய்கிறார்" என்ற அடிப்படைக் கருதுகோளின் மீது கட்டமைக்கப்பட்டுள்ளது.

"அடர்த்தியான சமிக்ஞைகள் (dense signals) அரிதான சமிக்ஞைகளை (sparse signals) விட சிறப்பாக செயல்படுகின்றன" என்ற கொள்கை ஒரு தூய்மையான Agent காட்சியில் மிகவும் தெளிவான சரிபார்ப்பைப் பெற்றது. அத்தியாயம் 2, நிலைப் பட்டியைப் (status bar) பற்றி விவாதிக்கும் போது, ஒரு Agent-இன் "நேர உணர்வை"—அவசரம், நிலைத்தன்மை, விழிப்புணர்வு—குறிப்பிட்டது, இது ஒரு அறிவுறுத்தல் கையேடு (instruction manual) மூலம் inference நேரத்தில் ஊட்டப்படலாம். இருப்பினும், இந்த தாள உணர்வை (sense of rhythm) நேரடியாக 8B சிறிய மாதிரியின் எடைகளில் (weights) பதித்து, prompts-ஐ நம்பாமல் செய்வது, post-training சவாலாக உள்ளது. ஆசிரியரும் கூட்டுப்பணியாளர்களும் இந்த பிரச்சினையில் DPO மற்றும் நான்கு RL முறைகளை (recipes) தொடர்ச்சியாக முயற்சித்தனர். இந்த நான்கு RL முறைகள் ஒவ்வொன்றும் இந்த அத்தியாயத்தில் முன்னர் விவாதிக்கப்பட்ட ஒரு தோல்வி முறையில் (failure mode) சிக்கின: ஒரு கடுமையான-வாயில் வெகுமதி (hard-gated reward) மிகவும் அரிதானதாக இருந்தது, பெரும்பாலான rollouts பூஜ்ஜிய மதிப்பெண் பெற்றன, மேலும் குழுவிற்குள் (within-group) நன்மை (advantage) பூஜ்ஜியமானது (sparsity); ஒரு தரப்படுத்தப்பட்ட வெகுமதிக்கு (graded reward) மாறியபோது சமிக்ஞை அடர்த்தியானது, ஆனால் proxy metric உண்மையான pass rate-உடன் ஒத்துப்போகவில்லை (objective misalignment); முதல் திருப்பத்தின் (turn) பதிலுக்கு மட்டும் மதிப்பெண் வழங்கியது குறுகிய, மேலோட்டமான பதில்களை ஊக்குவித்தது, அவை பல-திருப்ப மதிப்பீடுகளில் (multi-turn evaluations) மோசமாக செயல்பட்டன (rollout shape mismatch); இறுதியாக, rollout shape-ஐ மதிப்பீட்டுடன் சீரமைத்து, பயிற்சி வெகுமதி (training reward) உயரத் தொடங்கியதைக் கண்டதும், policy சில படிகளுக்குள் ஒற்றை முறைக்கு (single mode) சரிந்தது, இதை 4x வலுவான KL anchor கூட தடுக்க முடியவில்லை (training collapse). எந்த முறையும் SFT உச்சவரம்பை (ceiling) மீறவில்லை. On-Policy Distillation-க்கு மாறியபோது—ஒரு உறைந்த (frozen) Qwen3-32B ஆசிரியரைப் பயன்படுத்தி, மாணவரின் சொந்த பல-திருப்பப் பாதைகளில் (multi-turn trajectories) token-நிலை இலக்கு விநியோகங்களை (token-level target distributions) வழங்க—மென்மையான பயிற்சி ஒருங்கிணைப்பு (smooth training convergence) ஏற்பட்டது, நான்கு வெவ்வேறு நிபந்தனைகளின் கீழ் pass rates அனைத்தும் அதே தரவுகளில் பயிற்றுவிக்கப்பட்ட அடிப்படை SFT மாதிரியை விட 23 முதல் 47 சதவீத புள்ளிகள் வரை அதிகமாக இருந்தன[^ch7-11]. நான்கு அரிதான சமிக்ஞைகள் ஒவ்வொன்றாக தோல்வியடைந்தன, ஒரு அடர்த்தியான சமிக்ஞை வெற்றி பெற்றது, இது அத்தியாயத்தின் முக்கிய கருத்தை வலுப்படுத்தியது: post-training-ஐ அடிக்கடி தடுப்பது ஒரு புத்திசாலித்தனமாக வடிவமைக்கப்பட்ட வெகுமதி செயல்பாடு (reward function) அல்ல, மாறாக சமிக்ஞையின் போதுமான அடர்த்தியின்மை (insufficient density) தான்.

முழுமையான Post-Training நிலப்பரப்பு மற்றும் நடைமுறை குறிப்புகள்¶

இந்த அத்தியாயம் pre-training-இன் "அடுத்த வார்த்தையைக் கணிப்பு" (predict the next word) என்பதிலிருந்து தொடங்கி நீண்ட பயணம் மேற்கொண்டுள்ளது: SFT வடிவமைப்பை (format) உறுதிப்படுத்துகிறது, RL பொதுமைப்படுத்தலை (generalization) செயல்படுத்துகிறது, பல-திருப்பப் பணிகள் (multi-turn tasks) கடன் ஒதுக்கீட்டு பிரச்சினையை (credit assignment problem) அறிமுகப்படுத்துகின்றன, வெகுமதி வடிவமைப்பு (reward design) விளைவு வெகுமதிகளிலிருந்து (outcome rewards) "விளைவுகளுக்கு வெகுமதி அளித்து, செயல்முறைகளைக் கட்டுப்படுத்தும்" (reward outcomes and constrain processes) பாதை சமிக்ஞைகள் (path signals) வரை நீண்டுள்ளது, மேலும் கருவி பயன்பாடு (tool use) கூட்டு வெடிப்பை (combinatorial explosion) கொண்டு வருகிறது. இந்த சோதனைகள் முழுவதும் ஒரு பொதுவான நூல் (common thread) இயங்குகிறது—ஒரு மாதிரி கற்றுக்கொள்வது பயிற்சி சமிக்ஞை (training signal) அதற்கு என்ன கற்பிக்கிறது என்பதைப் பொறுத்தது; மேலும் சமிக்ஞையின் தரம் முதன்மையாக தரவு மற்றும் சூழலால் (data and environment) தீர்மானிக்கப்படுகிறது, வழிமுறையால் (algorithm) அல்ல.

ஒருங்கிணைந்த முன்னுதாரணம் (Synergistic Paradigm): முந்தைய பகுதியில் (GeneralPoints சோதனை சுருக்கம்) "முதலில் வடிவம், பின்னர் ஆன்மா" என்ற சீன ஓவியக் கொள்கையைப் பயன்படுத்தி இந்த முன்னுதாரணத்தை சுருக்கமாகக் கூறினோம்—"வடிவம் நிலையானதாகவும் அடிப்படை திறன்கள் இருக்கும் வரை" SFT பயன்படுத்தப்படுகிறது, பின்னர் RL இந்த அடித்தளத்தின் மீது உத்தியை வடிவமைக்கிறது. அவை வெவ்வேறு நிலைகளில் செயல்படுகின்றன: SFT நெறிமுறைகள் மற்றும் கட்டமைப்புகளை (JSON வடிவம், உரையாடல் டெம்ப்ளேட்டுகள், கருவி இடைமுகங்கள்) உறுதிப்படுத்துகிறது, அதே நேரத்தில் RL உத்தி மற்றும் பொதுமைப்படுத்தலை (எண்கணித விதிகள், இடஞ்சார்ந்த பகுத்தறிவு, செயல் வரிசைகள்) மேம்படுத்துகிறது. முக்கிய சமநிலை: அதிகப்படியான SFT பயிற்சியானது மாதிரியை பயிற்சிப் பரவலில் சரிந்துவிடச் செய்து, RL க்கான உகப்பாக்க இடத்தைக் கட்டுப்படுத்தும்.

பின்வரும் பொதுவான இடறல்கள் கவனிக்கத்தக்கவை; இந்தச் சிக்கல்களை அடையாளம் காண்பது, தொழில்நுட்ப விவரங்களில் தேர்ச்சி பெறுவதை விட, வளங்களை வீணாக்குவதைத் தவிர்ப்பதில் பெரும்பாலும் மதிப்புமிக்கது:

உண்மைகளை மனப்பாடம் செய்ய பிந்தைய-பயிற்சியை அதிகமாக நம்புதல்—உண்மை அறிவு மேலாண்மைக்கு RAG ஐப் பயன்படுத்தவும் (இயக்கவியல் முறையில் புதுப்பிக்கக்கூடியது, கண்டறியக்கூடிய மூலங்கள், பயிற்சியின் போது மறக்கப்படாது). பிந்தைய-பயிற்சி "அறிவை எவ்வாறு பயன்படுத்துவது" என்பதில் கவனம் செலுத்த வேண்டும்.
வடிவம் நிலையாகும் முன் RL ஐ அறிமுகப்படுத்துதல்—மாதிரியால் நம்பகத்தன்மையுடன் அடிப்படை JSON ஐ உருவாக்க முடியாவிட்டால் (பாகுபடுத்தல் தோல்வி விகிதம் > 20%), RL பயிற்சி முற்றிலும் தோல்வியடையும். SFT முதலில் வர வேண்டும்.
மோசமாக வடிவமைக்கப்பட்ட வெகுமதிச் சார்புகள் வெகுமதி ஹேக்கிங்கிற்கு வழிவகுத்தல்—மாதிரியானது, பணியை உண்மையில் முடிக்காமல் அதிக மதிப்பெண்களைப் பெற வெகுமதியில் உள்ள ஓட்டைகளைச் சுரண்டக் கற்றுக்கொள்கிறது (எ.கா., நீளத்திற்காக மட்டும் நீண்ட, அர்த்தமற்ற உரையை உருவாக்குதல்). இடைநிலை அளவீடுகளை அல்ல, இறுதி நோக்கத்தை மதிப்பிடுங்கள்.
உருவகப்படுத்துதல் நம்பகத்தன்மையைப் புறக்கணித்தல்—உருவகப்படுத்துதல் மிகவும் எளிமையானதாக இருந்தால் (வாடிக்கையாளர் சேவை எப்போதும் ஒரு நிலையான முறையில் பதிலளிக்கிறது) அல்லது சூழல் பதில் யதார்த்தமற்றதாக இருந்தால் (பிழை செய்திகள் உற்பத்தி சூழலில் இருந்து வேறுபடுகின்றன), பயிற்சி பெற்ற கொள்கை நிஜ உலக சூழ்நிலைகளில் முற்றிலும் தோல்வியடையும். உயர்-நம்பகத்தன்மை உருவகப்படுத்துதல் சூழலை உருவாக்குவதற்கான செலவு பயிற்சிச் செலவை விட அதிகமாக இருக்கலாம்.
அதிகப் பயிற்சி பொதுமைப்படுத்தலைக் குறைத்தல்—பயிற்சி இழப்பு தொடர்ந்து குறைந்து கொண்டே இருந்தாலும் சரிபார்ப்புத் தொகுப்பின் செயல்திறன் மோசமடையும் போது, மாதிரி பயிற்சி விவரங்களை மனப்பாடம் செய்கிறது. SFT இதற்கு மிகவும் எளிதில் பாதிக்கப்படும்; ஆரம்பகால நிறுத்தம் முக்கியமானதாகவே உள்ளது. RL இல் அதிக உகப்பாக்கம் தற்போதைய பணிப் பரவலுக்கு கொள்கை அதிகப் பொருத்தத்திற்கு வழிவகுக்கும்.
மதிப்புச் சார்பு சரிவு மற்றும் போதுமான ஆய்வின்மை—PPO இல் துல்லியமற்ற மதிப்பு மதிப்பீடு நன்மை கணக்கீட்டை சார்புடையதாக்கி, பயிற்சி வளைவில் கடுமையான அலைவுகளாக வெளிப்படும். மிகக் குறைந்த வெப்பநிலை அல்லது போதுமான சீரற்ற தன்மை Agent ஐ உள்ளூர் உகந்த நிலையில் சிக்க வைக்கும்.
RL இன் கணக்கீட்டுச் செலவைக் குறைத்து மதிப்பிடுதல்—SFT உடன் நன்றாகச் செயல்படும் பணிகள் RL க்கு மாறும்போது 10-100 மடங்கு பயிற்சி நேரம் தேவைப்படலாம். சோதனைப் பரவல் பயிற்சிப் பரவலுடன் மிகவும் ஒத்துப்போகிறது என்றால், SFT போதுமானதாக இருக்கலாம்.
தரமற்ற பயிற்சித் தரவு—SFT நேரடியாகத் தரவில் உள்ள இரைச்சலையும் சார்புகளையும் கற்றுக்கொண்டு, பிழைகளை அளவுருக்களில் உறுதிப்படுத்திவிடும். RL ஆய்வு மூலம் சிறந்த உத்திகளைக் கண்டறிய முடியும் என்றாலும், வெகுமதி மாதிரியில் முறையான சார்புகள் இருந்தால், அது தவறான திசையில் உகந்ததாக்கப்படும்.

அடிப்படைக் கொள்கை: பெரிய அளவிலான வளங்களை முதலீடு செய்வதற்கு முன், சிறிய அளவிலான சோதனைகள் மூலம் முக்கிய அனுமானங்களைச் சரிபார்க்கவும்—SFT ஒரு சிறிய அளவு தரவுகளுடன் வடிவமைப்பை நிலைப்படுத்த முடியுமா என்பதைச் சோதிக்கவும், RL ஒரு எளிமைப்படுத்தப்பட்ட சூழலில் ஒருங்கிணைய முடியுமா என்பதைச் சரிபார்க்கவும், மேலும் வெகுமதிச் செயல்பாடு உண்மையான நோக்கத்தைப் பிரதிபலிக்கிறதா என்பதை ஒரு சிறிய மாதிரியுடன் சரிபார்க்கவும். பெரிய அளவில் தோல்வியடைவதை விட, விரைவாகத் தோல்வியடைவது மிகவும் ஏற்றுக்கொள்ளத்தக்கது.

RAG/ICL உடனான ஒருங்கிணைப்பு: பிந்தையப் பயிற்சி, வெளிப்புறமயமாக்கப்பட்ட கற்றல் மற்றும் சூழல் சார்ந்த கற்றல் (In-Context Learning) ஆகியவை ஏஜெண்ட் திறனின் மூன்று பரிமாணங்களை உருவாக்குகின்றன. அவை ஒன்றுக்கொன்று மாற்று வழிகள் அல்ல, மாறாக முறையே மாதிரி அளவுருக்கள், வெளிப்புற அறிவு மற்றும் அனுமான நேரத்தில் உள்ள நிபந்தனைத் தகவல்களைப் பாதிக்கும் மூன்று சரிசெய்யக்கூடிய "குமிழ்கள்" (knobs) ஆகும். ICL இன் மதிப்பு அதன் "அளவுரு மாற்றமில்லா" உடனடிக் கட்டுப்பாட்டில் உள்ளது—சில எடுத்துக்காட்டுகள் அல்லது வெளிப்படையான விதிகளைப் பயன்படுத்தி விரைவாக நடத்தையை வடிவமைத்தல், இது ஆய்வுக் கட்டத்திற்கான விருப்பமான தேர்வாக அமைகிறது. இருப்பினும், எடுத்துக்காட்டுகளின் எண்ணிக்கை அதிகரிக்கும்போது, தாமதமும் செலவும் வேகமாக அதிகரிக்கும். RAG இன் மதிப்பு "உண்மைகள் மற்றும் சான்றுகளை வெளிப்புறமயமாக்குவதில்" உள்ளது—அளவுருக்களை மாற்றாமல் மாறும் வகையில் புதுப்பிக்கக்கூடிய வெளிப்புற அறிவு மற்றும் கண்டறியக்கூடிய மூலங்களை வழங்குதல், இது இயற்கையாகவே மாயத்தோற்றங்களை (hallucinations) அடக்கி, தணிக்கை/இணக்கத் தேவைகளைப் பூர்த்தி செய்கிறது. பிந்தையப் பயிற்சியின் மதிப்பு "நடத்தை மற்றும் பாணியை அளவுருக்களில் எழுதுவதில்" உள்ளது—தொனி, வடிவமைப்பு மற்றும் கருவி பயன்பாட்டுப் பழக்கங்களை நிலைப்படுத்தி, நிலைத்தன்மையை கணிசமாக மேம்படுத்துகிறது. ஒரு சிறப்புக் குறிப்பு: SFT/RL ஆகியவை அதிக அளவிலான உண்மை அறிவைத் துல்லியமாக மனப்பாடம் செய்வதில் சிரமப்படுகின்றன. மாதிரி கள உண்மைகளைக் கைவரப் பெற வேண்டுமானால், தொடர்ச்சியான முன்-பயிற்சி (continuous pre-training) தேவைப்படுகிறது (செலவு SFT ஐ விட மிக அதிகம் மற்றும் கவனமாக வடிவமைக்கப்பட்ட தரவு விகிதங்கள் தேவை). எனவே, உண்மைகளை மனப்பாடம் செய்வது RAG க்கு மிகவும் பொருத்தமானது.

மிகவும் பொதுவான மற்றும் உறுதியான நடைமுறை: "உண்மை அறிவின்" துல்லியமான மனப்பாடம் மற்றும் விளக்கத்திற்கு RAG ஐப் பயன்படுத்தவும், "நடத்தை மற்றும் கட்டமைப்பை" உறுதிப்படுத்த பிந்தையப் பயிற்சியை ஒப்படைக்கவும்; விரைவான உத்தி மறு செய்கைக்கு அதிக திறன் கொண்ட மாதிரிகளுடன் ICL ஐப் பயன்படுத்தவும், பின்னர் பிந்தையப் பயிற்சி மூலம் நிலையான நடத்தைகளை அளவுருக்களில் உள்வாங்கவும். பிந்தையப் பயிற்சி மாதிரி வடித்தல் (model distillation) மூலமும் அடையலாம்—அதிக திறன் கொண்ட பெரிய மாதிரியின் திறன்களை ஒரு சிறிய, குறைந்த செலவு கொண்ட மாதிரியில் வடித்தல்.

அத்தியாயச் சுருக்கம்¶

மாதிரி பிந்தையப் பயிற்சியின் சாராம்சம், தொடர்பு உத்திகளை அளவுருக்களில் எழுதுவதாகும்.

SFT மற்றும் RL ஆகியவை போட்டியாளர்கள் அல்ல, மாறாக வரிசைமுறை நிலைகள்: SFT முதலில் வெளியீட்டு வடிவமைப்பை நிலைப்படுத்துகிறது (இல்லையெனில், RL இன் வெகுமதி சமிக்ஞையைக் கூட கணக்கிட முடியாது), பின்னர் RL இந்த அடித்தளத்தின் மீது பொதுமைப்படுத்தக் கற்றுக்கொள்கிறது. "SFT மனப்பாடம் செய்கிறது, RL பொதுமைப்படுத்துகிறது" என்பது ஒரு முழக்கம் மட்டுமல்ல, அளவிடக்கூடிய ஒரு நிகழ்வுமாகும். இந்த அத்தியாயம் முழுவதும் இயங்கும் இரண்டு தீர்ப்புகளும் உள்ளன, அவை எந்த வழிமுறையையும் விட நினைவில் கொள்ளத்தக்கவை. முதலாவதாக, தரவு மற்றும் சூழல் ஆகியவை வழிமுறைகளை விட முக்கியமானவை: நீங்கள் ஆயத்தமான RL வழிமுறைகளைப் பயன்படுத்தலாம்; உண்மையான வேறுபாட்டை உருவாக்குவது உருவகப்படுத்துதல் சூழலின் நம்பகத்தன்மை மற்றும் பயிற்சித் தரவின் தரம் ஆகும்—பல சூழ்நிலைகளில், SFT தரவுத் தரம் போதுமானதாக இருந்தால், உங்களுக்கு RL கூட தேவைப்படாமல் போகலாம். இரண்டாவதாக, RL இன் தற்போதைய முக்கிய தடையானது சாம்பிள் திறன் (sample efficiency) ஆகும்: ஒவ்வொரு படியிலும் சமிக்ஞையை அடர்த்தியாக்கும் On-Policy Distillation, மற்றும் வீணாகும் சூழல் பின்னூட்டத்தை கற்றுக்கொள்ளக்கூடிய சமிக்ஞையாக மாற்றும் சரிபார்க்கப்பட்ட பாதை அபராதம் RLVP ("முடிவுக்கு வெகுமதி, பாதைக்கு அபராதம்," முழுமையாக தோல்வியடைந்த குழுக்களில் உள்ள சாம்பிள்களை மீட்க அடையக்கூடிய முன்னேற்றத்திற்கான பகுதி வெகுமதிகளுடன்), ஆகியவையே தற்போது மிகவும் நம்பிக்கைக்குரிய இரண்டு திசைகளாகும். அவற்றின் பொதுவான தன்மை ஒன்றுதான்—சூழல் மற்றும் தரவில் ஏற்கனவே உள்ள, ஆனால் முழு விளைவு வெகுமதிகளால் வீணாக்கப்படும் தகவலை, மாதிரி கற்றுக்கொள்ளக்கூடிய ஒன்றாக மீண்டும் மாற்றுவது.

[^ch7-1]: Schulman, John மற்றும் Thinking Machines Lab, "LoRA Without Regret", 2025. [^ch7-4]: Ouyang, Long மற்றும் பலர், "Training Language Models to Follow Instructions with Human Feedback", OpenAI, 2022. [^ch7-5]: Gao, Leo, John Schulman, மற்றும் Jacob Hilton, "Scaling Laws for Reward Model Overoptimization", OpenAI, 2023. [^ch7-6]: Rafailov, Rafael மற்றும் பலர், "Direct Preference Optimization: Your Language Model is Secretly a Reward Model", 2023. [^ch7-7]: Lightman, Hunter மற்றும் பலர், "Let's Verify Step by Step", OpenAI, 2023. [^ch7-8]: Silver, David மற்றும் Richard S. Sutton, "Welcome to the Era of Experience", 2025. [^ch7-9]: இந்தப் பிரிவில் உள்ள பாதை அபராத வடிவமைப்பு, நான்கு கொள்கைகள் மற்றும் சோதனைத் தரவு ஆகியவை Li, Bojie மற்றும் Noah Shi, "RLVP: Penalize the Path, Reward the Outcome", 2026. arXiv:2607.07435 இலிருந்து எடுக்கப்பட்டவை. [^ch7-10]: On-Policy Distillation க்கான முறை மற்றும் சோதனைகள் Thinking Machines Lab, "On-Policy Distillation", 2025 இலிருந்து எடுக்கப்பட்டவை. [^ch7-11]: Agent நேர உணர்விற்கான இந்த பிந்தைய-பயிற்சி ஒப்பீடுகள்—DPO மற்றும் நான்கு RL முறைகளின் தோல்வி முறைகள், மற்றும் On-Policy Distillation இன் முன்னேற்றம்—Li, Bojie மற்றும் Noah Shi, "Agents That Sense Physical Time: Urgency, Persistence, and Vigilance as Missing Controls for LLM Agents", 2026. https://01.me/research/physical-time-agent இலிருந்து எடுக்கப்பட்டவை.

பிந்தைய-பயிற்சி (post-training) "மாதிரியை எவ்வாறு புத்திசாலியாக்குவது" என்ற கேள்விக்கு பதிலளிக்கிறது—ஆனால் மாதிரி எடைகள் வாரக் கணக்கிலான சுழற்சியில்தான் புதுப்பிக்கப்படுகின்றன; அதே வேளையில் API-கள் தோன்றுவதும் நீக்கப்படுவதும், பயனர் தேவைகள் மாறுவதும், வணிக விதிகள் மாறுவதும் தினமும் நிகழ்கின்றன. அடுத்த அத்தியாயம் ஒரு நிரப்புப் பரிணாமப் பாதையை ஆராயும்: மாதிரி எடைகளைத் தொடாமல், ஏஜெண்ட் தானே வெளிப்புறமயமாக்கப்பட்ட கற்றல் மூலம் தனது கருவி நூலகத்தையும் அறிவுத் தளத்தையும் கட்டமைத்து, தன் திறன்களைத் தொடர்ந்து விரிவுபடுத்திக் கொள்ளும் வழியை.

சிந்தனை கேள்விகள்¶

★★ பணி-குறிப்பிட்ட நுண்சரிப்படுத்தல் மாதிரியின் அசல் பொதுத் திறன்களை (எ.கா., பொதுவான கருவி அழைப்பு) அழித்துவிடும் பேரழிவு மறதி (Catastrophic forgetting) - இது ஏஜெண்ட் காட்சிகளில் மிகவும் சிக்கலானது. முழு-அளவுரு நுண்சரிப்படுத்தலுடன் ஒப்பிடும்போது, LoRA அடிப்படை எடைகளை உறைய வைத்து மறதி அபாயத்தைக் குறைக்கிறது, ஆனால் அது முற்றிலும் விடுபட்டதல்ல. நுண்சரிப்படுத்தலின் போது திறன் மறதியை மேலும் குறைக்க என்ன உத்திகளைப் பயன்படுத்தலாம்?
★★ பிந்தைய-பயிற்சி (Post-training) திறன்களை மாதிரி எடைகளில் ("தசை நினைவகம்") உறுதிப்படுத்துகிறது, அதேசமயம் சூழல்-உள் கற்றல் (in-context learning) அனுமானத்தின் போது உள்ளீட்டில் அறிவை வைக்கிறது. இருப்பினும், சில திறன்களை (எ.கா., கள அறிவு) பிந்தைய-பயிற்சி மூலமாகவோ அல்லது சில-எடுத்துக்காட்டுகள் (few-shot examples) மூலமாகவோ வழங்க முடியும். கொடுக்கப்பட்ட ஒரு திறனுக்கு எந்தப் பாதையைத் தேர்ந்தெடுக்க வேண்டும் என்பதை முடிவு செய்ய நீங்கள் என்ன அளவுகோல்களைப் பயன்படுத்துவீர்கள்?
★★ மாதிரி வடித்தல் (Model distillation) ஒரு சிறிய மாதிரி ஒரு பெரிய மாதிரியின் நடத்தையைக் கற்றுக்கொள்ள அனுமதிக்கிறது. திறன் மட்டத்தில், வடிக்கப்படும் மாதிரிகளை தோராயமாக மூன்று நிலைகளாகப் பிரிக்கலாம்—அரட்டை மாதிரிகள் (ஒற்றை-சுற்று உரையாடல், நேரடி பதில்கள்), பகுத்தறிவு மாதிரிகள் (பதிலளிப்பதற்கு முன் நீண்ட சிந்தனைச் சங்கிலிகளை உருவாக்குதல்), மற்றும் ஏஜெண்டிக் மாதிரிகள் (பல-சுற்று கருவி அழைப்புகள், சூழலுடன் தொடர்பு கொள்ளுதல்). இந்த மூன்று வகை மாதிரிகள் ஒவ்வொன்றையும் வடிப்பதில் உள்ள வெவ்வேறு சவால்கள் யாவை? (குறிப்பு: "சரியாக என்ன வடிக்கப்படுகிறது" என்பதிலிருந்து தொடங்குங்கள்—அது வெளியீட்டின் பாணியா, முழுமையான பகுத்தறிவுத் தடமா (reasoning trace), அல்லது சூழலுடன் தொடர்புகொள்வதற்கான முடிவெடுக்கும் உத்தியா; தடத்தில் உள்ள எந்த டோக்கன்களைக் கற்றுக்கொள்ள வேண்டும், எவை கற்றுக்கொள்ளக் கூடாத சுற்றுச்சூழல் திரும்பப் பெறுதல்கள் (environmental returns); மற்றும் வெற்றி/தோல்வி சமிக்ஞைகள் எவ்வளவு தாமதமாகவும் எவ்வளவு அரிதாகவும் வருகின்றன.)
★★★ பல-சுற்று ஏஜெண்ட் தொடர்புகளில், கடன் ஒதுக்கீடு பிரச்சனை (credit assignment problem) ஒற்றை-சுற்று காட்சிகளை விட மிகவும் கடுமையானது—இறுதி வெற்றி அல்லது தோல்வியை சுற்று 3 இல் எடுக்கப்பட்ட முடிவுக்குக் காரணம் கூறுவது மற்றும் சுற்று 7 இல் எடுக்கப்பட்ட முடிவுக்குக் காரணம் கூறுவது கடினம். நீங்கள் எவ்வாறு வெகுமதி ஒதுக்கீட்டு உத்தியை (reward allocation strategy) வடிவமைப்பீர்கள்?
★★★ பிந்தைய-பயிற்சி, வெளிப்புறமயமாக்கப்பட்ட கற்றல் (externalized learning), மற்றும் சூழல்-உள் கற்றல் ஆகியவை ஏஜெண்ட் திறனின் மூன்று பரிமாணங்களை உருவாக்குகின்றன. வாடிக்கையாளர் சேவை ஏஜெண்ட்டின் செயல்திறனை மேம்படுத்த உங்களிடம் நிலையான பட்ஜெட் (எ.கா., $10,000) இருந்தால், இந்த மூன்று பரிமாணங்களுக்கும் பட்ஜெட்டை எவ்வாறு ஒதுக்கீடு செய்வீர்கள்? உங்கள் முடிவு எந்த காரணிகளைச் சார்ந்திருக்கும்?
★★★ தன்னாட்சி மாதிரி கற்றல் (Autonomous model learning), தெளிவான வெகுமதி செயல்பாடு இல்லாமல் மற்றும் அரிய மாதிரிகளுடன், சிலரால் பிந்தைய-பயிற்சியின் இறுதி இலக்காகக் கருதப்படுகிறது. தற்போதைய RL பயிற்சி முறைகள் இந்த இலக்கிலிருந்து எவ்வளவு தூரம் உள்ளன? அடுத்த முன்னேற்றம் எங்கிருந்து வர வாய்ப்புள்ளது என்று நீங்கள் நினைக்கிறீர்கள்?
★★ இந்த அத்தியாயம் LoRA நுண்சரிப்படுத்தலின் செலவு அதிகம் இல்லை என்பதைச் சுட்டிக்காட்டுகிறது. எனவே, ஒவ்வொரு பயனருக்கும் (அல்லது ஒவ்வொரு வாடிக்கையாளர் நிறுவனத்திற்கும்) ஒரு தனிப்பட்ட LoRA-வைப் பயிற்றுவித்து, பயனர் நினைவகம் அல்லது நிறுவன அறிவை அத்தியாயம் 3 இல் உள்ளதைப் போல வெளிப்புற அறிவுத் தளத்தில் சேமிப்பதற்குப் பதிலாக அளவுருக்களில் எழுத முடியுமா? "அளவுருக்களில் நினைவகத்தை எழுதுவது" "அறிவுத் தளத்தில் நினைவகத்தைச் சேமிப்பதை" விட எந்த சூழ்நிலைகளில் சாதகமாக இருக்கும்? எந்த சூழ்நிலைகளில் அது பயனற்றதாக இருக்கும்?
★★★ On-Policy Distillation வலுவான ஆசிரியர் மாதிரியை (teacher model) நம்பி மாணவரை (student) மேற்பார்வையிடுகிறது. இருப்பினும், OpenAI இன் பலவீனத்திலிருந்து வலிமைக்கான பொதுமைப்படுத்தல் (Weak-to-Strong Generalization) ஆராய்ச்சி ஒரு எதிர்பாராத கண்டுபிடிப்பை முன்வைத்தது: பலவீனமான மாதிரியிலிருந்து (weak model) வரும் மேற்பார்வை சமிக்ஞை (supervisory signal), வலுவான மாதிரியில் (strong model) மறைந்திருக்கும் ஆனால் செயல்படுத்தப்படாத திறன்களை சில நேரங்களில் வெளிக்கொணர முடியும். இந்த யோசனை ஏஜெண்ட் (Agent) பயிற்சியில் பயன்படுத்தப்பட்டால், "சிறிய மாதிரி பெரிய மாதிரிக்கு கற்றுக்கொடுக்கும்" தலைகீழ் வடித்தல் (reverse distillation) சாத்தியமாகுமா?
★★ செயல்முறை வெகுமதி மாதிரி (Process Reward Model - PRM) ஒவ்வொரு பகுத்தறிவு படியையும் மதிப்பிடுகிறது, அதேசமயம் விளைவு வெகுமதி மாதிரி (Outcome Reward Model - ORM) இறுதி முடிவை மட்டுமே பார்க்கிறது. ஆனால், "தவறான முடிவுக்கு வழிவகுக்கும் சரியான செயல்முறை" மற்றும் "தற்செயலாக சரியான முடிவுக்கு வழிவகுக்கும் தவறான செயல்முறை" ஆகிய இரண்டில் எது வெகுமதிக்கு மிகவும் தகுதியானது? ஒரு ஏஜெண்ட்டின் (Agent) பல-படி கருவி அழைப்பு (multi-step tool-calling) காட்சியில், இவற்றை எவ்வாறு எடைபோடுவீர்கள்?
★★★ இந்த அத்தியாயத்தில் விவாதிக்கப்பட்ட மதிப்பீட்டுத் தரவுத்தொகுப்புகள் (evaluation datasets) (எ.கா., SWE-Bench Verified, τ²-bench, AndroidWorld) மதிப்பீடு மற்றும் பயிற்சிக்குப் பிந்தைய (post-training) பயன்பாட்டிற்கும் பயன்படுத்தப்படலாம். இருப்பினும், ஒரு மதிப்பீட்டுத் தொகுப்பு பயிற்சிக்காகப் பயன்படுத்தப்பட்டால், அது சுயாதீனமான மதிப்பீட்டுத் தொகுப்பாக இருக்காது—இது பயிற்சி மற்றும் சோதனைத் தொகுப்புகள் பிரிக்கப்பட வேண்டும் என்ற அடிப்படைக் கொள்கையை மீறுகிறதா? τ²-bench இன் மாறும் அளவுரு உருவாக்கம் (dynamic parameter generation) மற்றும் AndroidWorld இன் அளவுருவாக்கப்பட்ட வார்ப்புருக்கள் (parameterized templates) இந்த சிக்கலை ஓரளவு குறைக்கின்றன, ஆனால் வார்ப்புரு அமைப்பு (template structure) மாறாமல் உள்ளது. மதிப்பீட்டுத் தரவின் பயிற்சி மதிப்பை முழுமையாகப் பயன்படுத்துவதற்கும் மதிப்பீட்டு சுதந்திரத்தைப் பேணுவதற்கும் இடையே எவ்வாறு சமநிலையைக் காண்பது?
★★★ இந்த அத்தியாயம் "முதலில் வடிவம், பின்னர் ஆவி" (form first, spirit second) என்ற பயிற்சி முன்னுதாரணத்தை முன்மொழிகிறது: "வடிவம் நிலையானதாகவும், அடிப்படைத் திறன்கள் உள்ளனவாகவும்" இருந்தவுடன் SFT (Supervised Fine-Tuning) ஐ நிறுத்திவிட்டு, RL (Reinforcement Learning) க்கு மாறவும். ஆனால் நடைமுறையில், SFT "போதுமானது" மற்றும் மாற்றுவதற்கான நேரம் இது என்பதை எவ்வாறு தீர்மானிப்பது?
★★★ ReTool இன் பயிற்சி இயக்கவியல் (training dynamics) (சோதனை 7-15 ஐப் பார்க்கவும்) மிகச் சில நீண்ட பதில்கள் முழு பயிற்சி சுழற்சியையும் கணிசமாக நீட்டிக்க முடியும் என்பதைக் காட்டுகிறது—ஒரு தொகுப்பில் (batch) உள்ள பெரும்பாலான ரோல்அவுட்கள் (rollouts) ஏற்கனவே உருவாக்கப்பட்டுவிட்டன, ஆனால் அந்த சில நீண்ட பதில்கள் முடிவடையும் வரை நீங்கள் காத்திருக்க வேண்டும், இதன் போது கிளஸ்டரில் (cluster) GPU பயன்பாடு மிகவும் குறைவாக இருக்கும். இத்தகைய நீண்ட-வால் பதில் (long-tail response) காட்சிகளுக்கான பயிற்சி கிளஸ்டர்களில் வள பயன்பாட்டை (resource utilization) எவ்வாறு மேம்படுத்துவது?