الفصل السادس · تقييم الوكلاء

يحول أداء الوكيل إلى إشارات قابلة للقياس والمقارنة. ويغطي بيئات التقييم، وتصميم مجموعات البيانات، والمقاييس، والدلالة الإحصائية، وقابلية الرصد، واختيار النموذج وفق النتائج، والتقييم الداخلي وبيئات المحاكاة في أنظمة الإنتاج.

← العودة إلى الملف التمهيدي الرئيسي · 📖 قراءة نص الفصل

المشاريع المصاحبة

التجربة	المشروع	النوع	الوصف
6-1	tau2-bench/	📖	يركز على تقييم قدرة الوكيل على استخدام الأدوات للاستدلال المعقد، بما في ذلك سيناريوهات مثل الحساب والبحث ومعالجة البيانات.
6-2	tau2-bench/	📖	إكمال مهام τ²-bench المتدرجة يدويًا وتسجيل المسارات.
6-3	user-memory-evaluation	✅	تشغيل قاعدة التقييم ذات المستويات الأربعة على 180 حكمًا منظمًا مع الأدلة ومنع الهلوسة.
6-4	user-memory-system-evaluation	✅	تشغيل 60 حالة على ثلاثة أنظمة مع محاسبة كاملة للتكلفة.
6-10	user-memory-system-evaluation	🚧	لا تزال مصفوفة المكونات والنماذج والمقيّمين الكاملة 4×3×2×60 قيد الإنجاز.
6-12	openvla-robotwin2-eval	✅	أكملت الحملة الرسمية على GPU واحدة 256 حلقة لكل ذراع؛ حقق chunk 1 نتيجة 0/256 وchunk 25 نتيجة 26/256، مع حفظ تجزئات 512 rollout.
6-2	terminal-bench/	📖	يعد Terminal-Bench معيارًا لاختبار أداء AI Agent في البيئات الطرفية الحقيقية. بدءًا من تجميع الشفرة وحتى نماذج التدريب وإعداد الخوادم، يقوم بتقييم كيفية تعامل الوكلاء مع المهام الحقيقية الشاملة. يتضمن مجموعة بيانات مكونة من 100 مهمة تقريبًا وإطار عمل للتنفيذ، يدعم عمليات تنفيذ الوكيل المختلفة.
6-2	SWE-bench/	📖	يعد SWE-bench معيارًا لتقييم قدرة نماذج اللغات الكبيرة على حل مشكلات GitHub الحقيقية. بالنظر إلى قاعدة الشفرة ووصف المشكلة، يجب أن يقوم النموذج بإنشاء تصحيح يعمل على حل المشكلة. تتضمن إصدارات متعددة: SWE-bench، وSWE-bench Lite، وSWE-bench Verified، وSWE-bench Multimodal.
6-2	GAIA/	📖	تهدف GAIA إلى تقييم الجيل التالي من نماذج LLM (أولئك الذين لديهم أدوات تكبير، وتحفيز فعال، والوصول إلى البحث، وما إلى ذلك). فهو يحتوي على أكثر من 450 سؤالًا غير تافه يتطلب درجات متفاوتة من استخدام الأداة والاستقلالية، مع إجابات لا لبس فيها. مقسمة إلى 3 مستويات صعوبة.
6-2	OSWorld/	📖	يقيم قدرة الوكلاء على أداء المهام المعقدة ضمن بيئة نظام تشغيل كاملة، بما في ذلك إدارة الملفات وتشغيل التطبيق وتكوين النظام.
6-2، 6-11	android_world/	📖	يقوم بتقييم أداء الوكيل في بيئة الهاتف المحمول التي تعمل بنظام Android، بما في ذلك التنقل في التطبيق وتفاعل واجهة المستخدم وإمكانيات إكمال المهام (الريبو المعياري الخارجي).
6-5	تقييم جودة تحويل النص إلى كلام	✅	تجميع نفس المجموعة من النصوص الصعبة باستخدام تكوينات تحويل النص إلى كلام (TTS) المختلفة (نموذج/صوت/سرعة مختلفة)، ثم استخدام LLM-as-a-Judge متعدد الوسائط لتسجيل كل بُعد (الوضوح، والطبيعة، وما إلى ذلك) وفقًا لقاعدة تقييم، وتجميع النتائج في جدول مقارنة التكوين القابل للتكرار.
6-6	elo-المتصدرين	✅	تنفيذ لوحة صدارة لأداء الوكيل استنادًا إلى نظام تصنيف ELO، وتقييم القدرات النسبية للوكلاء المختلفين من خلال المقارنات الزوجية.
6-7	عتبة انتقال النموذج إلى التنفيذ	✅	يقارن عتبة الانتقال من الاستكشاف إلى أول تعديل بين GPT-5.6-sol وClaude Sonnet 5 تحت Coding Harness محايد وثابت؛ أكملت الحملة 18/18 حالة بلا أخطاء API، وربط البيان المسارات والملخصات بهاشات قابلة للتحقق.
6-8	تحليل تكلفة الوكيل	✅	ينفذ توزيعًا لتكلفة السلسلة الكاملة لمهمة وكيل نموذجية متعددة المنعطفات (استرداد خدمة العملاء): يستخدم نظام تتبع مخصص خفيف الوزن لتسجيل الرموز للإدخال/الإخراج/ذاكرة التخزين المؤقت، وزمن الوصول، والتكلفة لكل مكالمة LLM، والتجميع لتحديد "الخطوة الأكثر تكلفة"، ثم يستخدم اختبار A/B لتحديد المدخرات الحقيقية من التصميم الصديق لذاكرة التخزين المؤقت KV وضغط السياق.
6-9	نموذج المعيار	✅	إجراء اختبار أفقي لموفري OpenAI المتعددين المتوافقين مع LLM API. يستخدم واجهة تدفق لقياس الوقت حتى أول رمز مميز (TTFT) بدقة، ويحسب النسب المئوية لزمن الوصول من طرف إلى طرف (p50/p95)، والإنتاجية، ومعدل النجاح في ظل التزامن. ينتج أمر واحد جدول مقارنة متعدد الأبعاد، يوضح أن اختيار النموذج هو عبارة عن مقايضة متعددة الأوجه بدلاً من مجرد النظر إلى لوحة المتصدرين.
6-11	عالم الروبوت	📖	تقرير تقييم In-repo T3A وملاحظات تحليل الفشل على AndroidWorld (نقطة البداية للتجربة 6-11؛ وليس مصدر المعيار).
—	تقييم تقارير الصحة العامة	✅	يستخدم بيانات مجمعة على نمط DHIS2 لإجراء تقييم موضوعي لاستدعاءات أداة وكيل الإبلاغ عن الصحة العامة، ودقة الحساب، واستشهادات الأدلة، والمطالبات غير المدعومة.

يجب أن يتم استنساخ المعايير الخارجية المسماة Backtick بشكل منفصل. android-world/ (موصول) هو ملاحظات تحليل تقييم T3A الخاصة بهذا الريبو (راجع README)، وليس نفس المسار مثل مصدر قياس الأداء الخارجي android_world/.

أنواع المشاريع

الأيقونة	النوع	المعنى
✅	مستقل	شفرة كاملة قابلة للتشغيل في هذا المستودع بعد إعداد مفتاح API
📖	دليل إعادة الإنتاج	وثائق تفصيلية تعتمد على مستودع خارجي يُجلب باستخدام git clone
🚧	وثيقة التصميم	وثيقة تصميم وخطة تنفيذ؛ أما الشفرة القابلة للتشغيل فما تزال قيد التطوير