跳转至

அத்தியாயம் 2 · சூழல் பொறியியல்

சூழல் ஏஜெண்டின் திறனின் மேல் வரம்பைத் தீர்மானிக்கிறது. பெரிய மாதிரி API இன் சூழல் அமைப்பு, KV Cache நட்பு வடிவமைப்பு, விரைவு பொறியியல் (prompt engineering), மாறும் விரைவுகள் மற்றும் Agent Skills, நிலைப் பட்டை மேல்தரவு (metadata), மற்றும் சூழல் சுருக்க உத்திகள் ஆகியவற்றை ஆழமாக ஆராய்கிறது.

முக்கிய README க்குத் திரும்பு · 📖 அத்தியாய உரையைப் படி

துணை திட்டங்கள்

சோதனை Project Type Description
2-1 local_llm_serving பல்தட (cross-platform) உள்ளூர் LLM பயன்பாட்டுத் தீர்வு; சிறந்த பின்தங்கியை (vLLM அல்லது Ollama) தானாகத் தேர்ந்தெடுக்கிறது. 0.6B போன்ற சிறிய மாதிரியும் நல்ல அமைப்பு வடிவமைப்பின் மூலம் சிறந்த கருவி அழைப்புத் திறனை அடைய முடியும் என்பதைக் காட்டுகிறது. ஸ்ட்ரீமிங் பதில்களை ஆதரித்து, சிந்தனை செயல்முறையை நிகழ்நேரத்தில் காட்டுகிறது.
2-2, 2-7 attention_visualization LLM இன் முழுமையான உள்ளீடு-வெளியீடு token வரிசைகள் மற்றும் கவன எடை விநியோகத்தைக் காட்சிப்படுத்தி, மாதிரி எவ்வாறு சூழலைச் செயலாக்குகிறது, பகுத்தறிகிறது மற்றும் கருவிகளை அழைக்கிறது என்பதை ஆழமாகப் புரிந்துகொள்ள உதவுகிறது.
2-3 kv-cache வெவ்வேறு சூழல் மேலாண்மை முறைகள் KV Cache மீது ஏற்படுத்தும் தாக்கத்தை ஆராய்ந்து, பொதுவான தவறான முறைகள் கேச் செயல்திறனை எவ்வாறு சீரழிக்கின்றன என்பதை நிரூபிக்கிறது. சரியான சூழல் வடிவமைப்பு தாமதம் மற்றும் செலவை எவ்வாறு கணிசமாகக் குறைக்கிறது என்பதைச் சோதனைகள் மூலம் காட்டுகிறது.
2-4 prompt-engineering Tau-Bench கட்டமைப்பை விரிவாக்கி, முறையான அப்லேஷன் பரிசோதனைகள் மூலம் வெவ்வேறு வழிகாட்டி பொறியியல் காரணிகள் ஏஜென்ட் செயல்திறனில் ஏற்படுத்தும் தாக்கத்தை அளவிடுகிறது. தொனி பாணி, வழிமுறை ஒழுங்கமைப்பு, கருவி விளக்கங்கள் போன்ற காரணிகள் பணி நிறைவு விகிதத்தை எவ்வாறு பாதிக்கின்றன என்பதைக் காட்டுகிறது.
2-5 prompt-injection 3 வகை தாக்குதல் சூழ்நிலைகள் (நேரடி செலுத்துதல், மறைமுக செலுத்துதல், நினைவக செலுத்துதல்) × 4 வகை பாதுகாப்பு உள்ளமைவுகள் (பாதுகாப்பு இல்லை, வழிகாட்டி வலுப்படுத்தல், மூலக் குறிப்பு, இணைந்த பாதுகாப்பு) கொண்ட ஒப்பீட்டுப் பரிசோதனைகளை உருவாக்கி, தீர்மான விதிகளால் தாக்குதல் வெற்றி விகிதத்தைக் கணக்கிட்டு, அடுக்கடுக்காகப் பாதுகாப்பைச் சேர்த்த பிறகு செலுத்துதல் வெற்றி விகிதம் எவ்வாறு கணிசமாகக் குறைகிறது என்பதை நேரடியாகக் காட்டுகிறது.
2-6 agent-skills-ppt Agent Skills இன் "படிப்படியான வெளிப்படுத்தல்" (progressive disclosure) கருத்தை மீண்டும் உருவாக்குகிறது: ஏஜென்ட் தொடங்கும்போது ஒரு மெல்லிய Skill அட்டவணையை மட்டுமே காண்கிறது; பணிக்கு pptx Skill தேவை என்பதை அடையாளம் கண்ட பிறகே அதன் முழுமையான செயல்முறை, விவரமான ஆவணங்கள் மற்றும் இணைக்கப்பட்ட ஸ்கிரிப்டுகளை அடுக்கடுக்காக ஏற்றி, இறுதியாக python-pptx மூலம் உண்மையான .pptx கோப்பை உருவாக்குகிறது.
2-8 system-hint கணினி வழிகாட்டி (System Hint) ஏஜென்ட் நடத்தையில் ஏற்படுத்தும் தாக்கத்தை ஆராய்ந்து, கணினி வழிகாட்டியை உகப்பாக்குவதன் மூலம் செயல்திறனை எவ்வாறு மேம்படுத்தலாம் என்பதை அறிகிறது.
2-9 context-compression சுருக்கம், முக்கிய தகவல் பிரித்தெடுப்பு, சொற்பொருள் சுருக்கம் உட்படப் பல சூழல் சுருக்க உத்திகளைச் செயல்படுத்தி ஒப்பிடுகிறது. ஏஜென்ட் திறன்களைத் தக்கவைத்துக்கொண்டே token பயன்பாட்டைக் குறைக்கிறது.

திட்ட வகைகள்

சின்னம் வகை பொருள்
தனித்து இயங்கும் முழு குறியீடு இந்த களஞ்சியத்தில், API Key உள்ளமைத்தவுடன் இயங்கும்
📖 மறு உருவாக்க வழிகாட்டி வெளிப்புற களஞ்சியங்களை git clone செய்ய வேண்டிய விரிவான ஆவணம்
🚧 வடிவமைப்பு ஆவணம் கட்டமைப்பு/செயலாக்கத் திட்டம் மட்டும், இயங்கும் குறியீடு இன்னும் WIP