مكتبة لتجارب الاستدلال على كروت NVIDIA فقط، مع امتداد تجريبي يقلل الرجوع إلى الحساب الكامل لرأس الإخراج بحسب الجزء المؤثر في قبول التوكنات المقترحة.
- قرار رجوع مرتبط بالتوكنات اللازمة: إذا حُسم القبول عند موضع مبكر، عدم اليقين العددي في موضع لاحق غير مستخدم لا يفرض وحده حساب الرأس الكامل. حساب النموذج وفحص المرشحين يبقيان لكل مواضع التحقق.
- امتداد للرأس دون تدريب إضافي: فحص أولي بـW8A16، وتدقيق أفضل 64 مرشحاً، وحدود عددية محافظة، مع إبقاء رأس BF16 للرجوع إليه. الامتداد يضيف ذاكرة، ويستخدم النظام نموذج DFlash2 مدرباً مسبقاً.
- اختيار المسار داخل GPU: يستخدم CUDA conditional graphs لتجنب قراءة شرط الفرع على CPU في كل مرة.
- توافق بحسب قدرات NVIDIA: المسار العام يختار FP16 أو BF16. تحسين V8 غير محصور باسم كرت؛ يتفعّل اختيارياً وفق قدرة الكرت وتوافق البرامج والذاكرة والفحص المبدئي، مع تسجيل سبب عدم التفعيل.
- تجارب قابلة للتدقيق: تثبيت إصدارات النماذج، وبصمات للمدخلات، وحفظ تدريجي للنتائج، وفصل زمن الطلب عن زمن التوليد، وحد زمني للعملية عبر CLI.
هذه مقارنة في الآلية والنطاق. لا توجد لدينا تجربة مباشرة تثبت التفوق على هذه الأعمال تحت نفس الظروف. راجع المقارنة التفصيلية ومصادرها، وتشمل أيضاً أعمال تخطي التحقق.
في دراسة الرأس المحفوظة على A100 انخفضت حالات الرجوع من 33 إلى 9 ضمن 78 استدعاءً، وانخفض زمن رأس الإخراج وحده 18.95% وفق مجموع قيم الوسيط للزمن المنقضي (wall time) لـ72 استدعاءً من ثمانية صفوف مع عشرة تكرارات لكل منها. هذه الدراسة استخدمت حدوداً عددية أقدم من V8.
في تجربة V8 للنموذج الكامل بلغ خفض زمن الطلب 0.922%، أقل من شرط قبول التجربة المحدد مسبقاً. تطابقت التسلسلات في 30 زوجاً من قياسات الزمن و12 زوجاً تشخيصياً؛ هذا فحص محدود، وفحص الجودة المستقل بقي غير محسوم.
دعم الإعدادات لا يعني أن كل كرت NVIDIA اختُبر فعلياً؛ القياسات التاريخية تخص A100. فحوص المكتبة الحالية تخص الكود والتغليف على CPU، ونسخة المكتبة بعد التغليف تحتاج اختبار GPU مستقل. راجع التثبيت والتشغيل وسجل التحقق.