Глава 2 · Инженерия контекста

Контекст определяет верхнюю границу возможностей агента. Подробно разбираются структура контекста в API LLM, дружественный к KV Cache дизайн, инженерия промптов, динамические промпты и Agent Skills, метаинформация строки состояния и стратегии сжатия контекста.

← К оглавлению · 📖 Читать главу

Сопутствующие проекты

Эксп.	Проект	Тип	Описание
2-1	local_llm_serving	✅	Кроссплатформенное решение для локального развёртывания LLM, автоматически выбирающее лучший бэкенд (vLLM или Ollama). Показывает, что даже модель на 0.6B при хорошем системном дизайне отлично вызывает инструменты. Поддерживает потоковые ответы с отображением процесса рассуждения в реальном времени.
2-2, 2-7	attention_visualization	✅	Визуализирует полную входную/выходную последовательность токенов и распределение весов внимания LLM, давая глубокое понимание того, как модель обрабатывает контекст, рассуждает и вызывает инструменты.
2-3	kv-cache	✅	Исследует влияние разных режимов управления контекстом на KV Cache, демонстрируя, как типичные ошибки разрушают эффективность кэша. На экспериментах показывает, как грамотный дизайн контекста значительно снижает задержку и стоимость.
2-4	prompt-engineering	✅	Расширяет фреймворк Tau-Bench, чтобы через систематические абляционные эксперименты количественно оценить влияние разных факторов инженерии промптов на качество агента. Показывает, как тон, организация инструкций и описания инструментов влияют на долю выполненных задач.
2-5	prompt-injection	✅	Строит контролируемый эксперимент: 3 сценария атаки (прямая инъекция, косвенная инъекция, инъекция в память) × 4 конфигурации защиты (без защиты, усиление промпта, маркировка источников, комбинированная защита). Детерминированными правилами вычисляет долю успешных атак, наглядно показывая, как эшелонированная защита значительно снижает успех инъекций.
2-6	agent-skills-ppt	✅	Воспроизводит идею «постепенного раскрытия» Agent Skills: сначала агент видит лишь тонкий каталог навыков. Только определив, что задача требует навыка pptx, он постепенно подгружает его полный сценарий, подробную документацию и связанные скрипты, в итоге создавая реальный файл .pptx через python-pptx.
2-8	system-hint	✅	Изучает влияние системных подсказок (System Hints) на поведение агента, исследуя, как повысить качество за счёт оптимизации системного промпта.
2-9	context-compression	✅	Реализует и сравнивает несколько стратегий сжатия контекста: суммаризацию, извлечение ключевой информации и семантическое сжатие. Снижает расход токенов, сохраняя возможности агента.
## Типы проектов

Значок	Тип	Значение
✅	Автономный	Полный код в этом репозитории, запускается после настройки API-ключа
📖	Гайд по воспроизведению	Подробный документ, зависящий от внешних репозиториев через git clone
🚧	Проектный документ	Только архитектура/план реализации, рабочий код ещё в разработке