第 2 章 · 上下文工程¶
上下文決定能力上限:KV Cache、提示工程、Agent Skills、上下文壓縮
配套專案¶
| 編號 | 專案 | 型別 | 一句話說明 |
|---|---|---|---|
| 2-1 | local_llm_serving | ✅ | 跨平台本地 LLM 部署,自動選 vLLM/Ollama 後端,展示 0.6B 小模型也能有出色工具呼叫 |
| 2-2, 2-7 | attention_visualization | ✅ | 視覺化 LLM 完整 token 序列與注意力權重分佈,理解模型如何處理上下文、推理與呼叫工具 |
| 2-3 | kv-cache | ✅ | 探索不同上下文管理模式對 KV Cache 的影響,示範錯誤模式如何破壞快取效率 |
| 2-4 | prompt-engineering | ✅ | 擴充 Tau-Bench,量化語氣風格、指令組織、工具描述等因素對任務完成率的影響 |
| 2-5 | prompt-injection | ✅ | 3 種攻擊場景 × 4 種防禦設定的對照實驗,直觀展示逐層疊加防禦後注入成功率下降 |
| 2-6 | agent-skills-ppt | ✅ | 復現 Agent Skills「漸進式揭露」,按需載入完整流程後用 python-pptx 產生真實 .pptx |
| 2-8 | system-hint | ✅ | 研究系統提示對 Agent 行為的影響,探索如何透過最佳化系統提示提升效能 |
| 2-9 | context-compression | ✅ | 實作並對比摘要、關鍵資訊擷取、語意壓縮等多種策略,保持能力的同時減少 token |
專案型別說明¶
| 圖示 | 型別 | 含義 |
|---|---|---|
| ✅ | 可獨立執行 | 本倉庫自帶完整程式碼,設定好 API Key 即可執行 |
| 📖 | 復現指南 | 依賴需自行 git clone 的外部倉庫(訓練框架、評測基準等) |
| 🚧 | 設計文件 | 僅包含架構與實作方案,可執行程式碼仍在完善中 |