跳转至

第 2 章 · 上下文工程

上下文決定能力上限:KV Cache、提示工程、Agent Skills、上下文壓縮

返回主目錄 · 📖 讀本章正文

配套專案

編號 專案 型別 一句話說明
2-1 local_llm_serving 跨平台本地 LLM 部署,自動選 vLLM/Ollama 後端,展示 0.6B 小模型也能有出色工具呼叫
2-2, 2-7 attention_visualization 視覺化 LLM 完整 token 序列與注意力權重分佈,理解模型如何處理上下文、推理與呼叫工具
2-3 kv-cache 探索不同上下文管理模式對 KV Cache 的影響,示範錯誤模式如何破壞快取效率
2-4 prompt-engineering 擴充 Tau-Bench,量化語氣風格、指令組織、工具描述等因素對任務完成率的影響
2-5 prompt-injection 3 種攻擊場景 × 4 種防禦設定的對照實驗,直觀展示逐層疊加防禦後注入成功率下降
2-6 agent-skills-ppt 復現 Agent Skills「漸進式揭露」,按需載入完整流程後用 python-pptx 產生真實 .pptx
2-8 system-hint 研究系統提示對 Agent 行為的影響,探索如何透過最佳化系統提示提升效能
2-9 context-compression 實作並對比摘要、關鍵資訊擷取、語意壓縮等多種策略,保持能力的同時減少 token

專案型別說明

圖示 型別 含義
可獨立執行 本倉庫自帶完整程式碼,設定好 API Key 即可執行
📖 復現指南 依賴需自行 git clone外部倉庫(訓練框架、評測基準等)
🚧 設計文件 僅包含架構與實作方案,可執行程式碼仍在完善中