Глава 9 · Мультимодальность и взаимодействие в реальном времени¶
Расширяет восприятие и действие с текста на голос, GUI и физический мир. Три голосовые парадигмы (каскадная / сквозная полномодальная / полнодуплексная), потоковое восприятие и синтез речи, Computer Use и манипуляции роботов.
← К оглавлению · 📖 Читать главу
Сопутствующие проекты¶
| Эксп. | Проект | Тип | Описание |
|---|---|---|---|
| 9-1 | live-audio | ✅ | Демо голосового чата в реальном времени, объединяющее распознавание речи, диалог с ИИ и синтез речи. Поддерживает несколько провайдеров ИИ-сервисов (OpenAI, OpenRouter, ARK, Siliconflow), обеспечивая диалог с низкой задержкой. |
| 9-2 | phone-agent | 🚧 | Пути direct/ReAct официального SDK pine-voice реализованы, но нет согласованного и авторизованного адресата E.164. Preflight фиксирует отсутствие звонка и transcript; test double не считается приёмкой. |
| 9-3 | streaming-speech | ✅ | Демонстрирует ключевой компромисс потокового восприятия речи: непрерывное аудио режется на сегменты растущей длины и подаётся в ASR. Каждый полученный сегмент даёт «текущий частичный результат распознавания», обеспечивая крайне низкую задержку первого фрагмента для раннего вывода текста. Плата за это — ранние фрагменты без контекста второй половины фразы могут быть ошибочны, постепенно сходясь по мере накопления аудио. Это контрастирует с высокоточным, но высоколатентным подходом «дождаться всей фразы перед распознаванием». |
| 9-4 | end-to-end-speech | ✅ | MiniCPM-o 4.5 с закреплённой revision реально запущен локально на одной RTX PRO 6000; end-to-end и self-cascade дали по 3/4 с взаимодополняющими семантическими/паралингвистическими ошибками, сохранены 24kHz-аудио и доказательства приёмки. |
| 9-5 | controllable-tts | 🚧 | Реальная библиотека Fish Audio S1 4×3×2 и A/B/C-медиа проходят структурные gate; не завершены качественное прослушивание и оценка «почти как живой оператор». |
| 9-6 | claude-quickstarts/computer-use-demo/ |
📖 | Внешний anthropics/claude-quickstarts зафиксирован на 9bcc95e…; текст относится к контейнерному Ubuntu desktop＋Claude agent loop Computer Use demo, а не ко всему quickstarts. |
| 9-7 | browser-use/ |
📖 | Внешний browser-use/browser-use зафиксирован на ec9277c…; visual CLI (use_vision=True) ищет погоду San Francisco в Google и сохраняет траекторию действий/скриншотов. |
| 9-8 | xlerobot-teleoperation | 📖 | Внешний XLeRobot 3d14695… для keyboard/Xbox/Joy-Con/VR. Есть лишь source/non-actuating preflight; нет авторизованного четырёхрежимного запуска на роботе и pick/place/wipe. |
| 9-9 | gemini-xlerobot-navigation | 📖 | Внешние XLeRobot 3d14695… и RoboCrew с точным gemini-robotics-er-1.5-preview, угловой разметкой и forward/left/right tools. Авторизованного запуска навигации нет. |
| 9-10 | rgb-sim2real-grasping | 📖 | Внешний lerobot-sim2real 87d6c1d…, пять стадий RGB→PPO→SO-100. На хосте нет ManiSkill/NVIDIA и нет авторизованного физического запуска. |
| ## Типы проектов |
| Значок | Тип | Значение |
|---|---|---|
| ✅ | Автономный | Полный код в этом репозитории, запускается после настройки API-ключа |
| 📖 | Гайд по воспроизведению | Подробный документ, зависящий от внешних репозиториев через git clone |
| 🚧 | В работе | Реализация есть, но не завершены требуемый живой запуск, авторизация участника, оборудование или доказательства приёмки текста |