الفصل التاسع · تعدد الوسائط والتفاعل الآني

يوسع الإدراك والفعل من النص إلى الصوت والواجهات الرسومية والعالم المادي. ويتناول ثلاثة أنماط للبنية الصوتية، والإدراك الصوتي المتدفق وتركيب الكلام، واستخدام الحاسوب، والتحكم الروبوتي.

← العودة إلى الملف التمهيدي الرئيسي · 📖 قراءة نص الفصل

المشاريع المصاحبة

التجربة	المشروع	النوع	الوصف
9-1	صوت حي	✅	عرض توضيحي للدردشة الصوتية في الوقت الفعلي يدمج تحويل الكلام إلى نص وحوار الذكاء الاصطناعي وتحويل النص إلى كلام. يدعم العديد من موفري خدمات الذكاء الاصطناعي (OpenAI، OpenRouter، ARK، Siliconflow)، مما يوفر تجربة محادثة منخفضة زمن الوصول.
9-2	وكيل الهاتف	🚧	نُفّذ مسارا direct/ReAct في SDK الرسمي pine-voice، لكن لم يُقدَّم رقم E.164 مخوّل وبموافقة صاحبه. يسجل preflight عدم الاتصال وعدم وجود transcript، ولا يُعد test double قبولًا.
9-3	خطاب متدفق	✅	يوضح المفاضلة الأساسية لإدراك الكلام المتدفق: تقطيع الصوت المستمر إلى مقاطع ذات طول متزايد وإدخالها إلى ASR. ينتج عن كل مقطع مستلم "نتيجة التعرف الجزئي الحالية" لتحقيق زمن استجابة منخفض للغاية للجزء الأول لإخراج النص المبكر. والتكلفة هي أن المقاطع المبكرة، التي تفتقر إلى سياق النصف الأخير من الجملة، قد تكون خاطئة، وتتقارب تدريجياً مع تراكم الصوت. وهذا يتناقض مع النهج عالي الدقة/زمن الوصول العالي المتمثل في "انتظار الجملة بأكملها قبل التعرف عليها".
9-4	الكلام من نهاية إلى نهاية	✅	شُغّل MiniCPM-o 4.5 بإصدار مثبّت محليًا على بطاقة RTX PRO 6000 واحدة؛ حقق مسارا end-to-end وself-cascade نتيجة 3/4 مع أخطاء دلالية وشبه لغوية متكاملة، وحُفظ خرج صوتي حقيقي 24kHz ودليل القبول.
9-5	تحويل النص إلى كلام قابل للتحكم	🚧	تمر مكتبة Fish Audio S1 الحقيقية 4×3×2 ووسائط A/B/C بوابات البنية؛ ما زالت دراسة الاستماع النوعية وتقييم «قريب من موظف بشري» ناقصين.
9-6	claude-quickstarts/computer-use-demo/	📖	المستودع الخارجي anthropics/claude-quickstarts مثبت عند 9bcc95e…؛ المقصود هو Computer Use demo بسطح Ubuntu وحلقة Claude agent داخل container، لا مجموعة quickstarts كلها.
9-7	browser-use/	📖	المستودع الخارجي browser-use/browser-use مثبت عند ec9277c…؛ يستخدم visual CLI مع use_vision=True للبحث في Google عن طقس San Francisco وحفظ مسار الأفعال/الصور.
9-8	xlerobot-teleoperation	📖	XLeRobot الخارجي 3d14695… للتحكم keyboard/Xbox/Joy-Con/VR. لا يوجد إلا source/non-actuating preflight؛ ولا تشغيل حقيقي مخوّل بأوضاعه الأربعة أو دليل pick/place/wipe.
9-9	gemini-xlerobot-navigation	📖	XLeRobot الخارجي 3d14695… مع RoboCrew، وبالضبط gemini-robotics-er-1.5-preview وتعليم الزوايا وأدوات forward/left/right. لا يوجد تشغيل تنقل مخوّل.
9-10	rgb-sim2real-grasping	📖	lerobot-sim2real الخارجي 87d6c1d… لمسار RGB→PPO→SO-100 ذي خمس مراحل. يفتقد المضيف ManiSkill/NVIDIA ولا يوجد تشغيل روبوت حقيقي مخوّل.

أنواع المشاريع

الأيقونة	النوع	المعنى
✅	مستقل	شفرة كاملة قابلة للتشغيل في هذا المستودع بعد إعداد مفتاح API
📖	دليل إعادة الإنتاج	وثائق تفصيلية تعتمد على مستودع خارجي يُجلب باستخدام git clone
🚧	قيد الإنجاز	يوجد تنفيذ، لكن التشغيل الحي أو التفويض أو العتاد أو أدلة قبول متطلبات النص لم تكتمل