مقاييس الأداء
مقاييس الأداء
Section titled “مقاييس الأداء”مدى جودة كاظمه في التذكّر والعثور والقراءة، مقيسًا على مجموعات بيانات ذات إصدارات محفوظة في مستودعها وتحرسها اختباراتها: فالتغيير الذي يُسوئ رقمًا يُفشل البناء. وهذه الصفحة مكتوبة من تلك النتائج (scripts/benchmarks_page.py)، فهي تقول ما تفعله الشيفرة اليوم. وكل مجموعة بيانات وسكربت وملف نتائج موجود في المستودع؛ والأوامر تحت كل جدول تعيد إنتاجه.
مجموعات البيانات خاصة بكاظمه، بُنيت لهذه الأسئلة بالإنجليزية والعربية وبكلتيهما، مع أسئلة مستبعدة من الضبط. وليست مجموعات لوحة صدارة عامة: قارن تشغيلات كاظمه بعضها ببعض، لا بأرقام قيست في مكان آخر.
الذاكرة: هل تجد ما أخبرتها به؟
Section titled “الذاكرة: هل تجد ما أخبرتها به؟”مجموعة البيانات الإصدار 5: ذاكرة خاصة مُلئت بطريقة المنتج (أدوار، وحقائق، وملخصات أسبوعية)، ثم طُرحت عليها أسئلة عبر recall() الحقيقية، بالمتجهات المسجّلة لنموذج البحث بالمعنى. معدل الإصابة: الجواب ضمن ما تعرضه كاظمه على النموذج. MRR: مدى علوّ رتبته (1 = الأول). الدقة: كم مما يُعرض يخصّ السؤال.
| السؤال | معدل الإصابة | MRR | الدقة |
|---|---|---|---|
| حقيقة أخبرتها بها | 100.0 % | 1.00 | 64.6 % |
| شيء قيل في دور واحد | 100.0 % | 0.82 | 65.6 % |
| شيء موزّع على عدة أدوار | 100.0 % | 1.00 | 79.4 % |
| حقيقة تغيّرت (الأحدث يغلب) | 100.0 % | 1.00 | 57.4 % |
| سؤال بكلمات أخرى | 100.0 % | 0.94 | 62.9 % |
| سؤال بالكلمات نفسها | 100.0 % | 1.00 | 93.8 % |
| شيء قالته كاظمه نفسها | 100.0 % | 0.62 | 63.2 % |
| أسئلة «أطلعني على ما فاتني» | 90.0 % | 0.67 | 55.5 % |
| سؤال بالعربية | 100.0 % | 0.79 | 62.5 % |
| سؤال تحيط به ضوضاء | 100.0 % | 1.00 | 61.1 % |
| كل الأسئلة | 92.5 % | 0.84 | 64.4 % |
| المستبعدة (لم تُستعمل قط لاختيار إعداد) | 89.1 % | 0.84 | 64.6 % |
الأسئلة التي لا ذاكرة لها تُجاب بلا شيء في 27.8 % من الحالات (0.0 % في المستبعدة)؛ والهدف 60.0 %: وهو أضعف رقم في هذه الصفحة.
تعلّم الحقائق من محادثة
Section titled “تعلّم الحقائق من محادثة”أدوار بالإنجليزية والعربية وبكلتيهما، مع الحقائق التي يتوقع شخص أن تُتذكّر. المرور السريع: قواعد كاظمه نفسها، على كل دور. مرور النموذج: النموذج يقرأ الدور بعده (ردود مسجّلة). الاستدعاء: الحقائق التي عُثر عليها. الدقة: الحقائق التي عُثر عليها وهي صحيحة. الهدوء: الأدوار التي لا شيء فيها يُتعلَّم ولم تُعلِّم شيئًا.
| المرور | اللغة | الاستدعاء | الدقة | الهدوء |
|---|---|---|---|---|
| المرور السريع | الإنجليزية | 46.2 % | 100.0 % | 100.0 % |
| المرور السريع | العربية | 63.6 % | 100.0 % | 100.0 % |
| المرور السريع | مختلطة | 60.0 % | 100.0 % | 100.0 % |
| مرور النموذج | الإنجليزية | 76.9 % | 78.6 % | 100.0 % |
| مرور النموذج | العربية | 90.9 % | 90.9 % | 100.0 % |
| مرور النموذج | مختلطة | 70.0 % | 58.3 % | 100.0 % |
ومع Postgres مخزنًا للذاكرة، تسجّل الأسئلة نفسها معدل إصابة 89.5 %، وMRR 0.83، ودقة 62.1 %.
إعادة الإنتاج: python scripts/memory_bench.py run (أضف --real لاستعمال النموذج الحقيقي)، وpython -m pytest tests/test_memory_benchmark.py.
مكتبة المعرفة: هل يجد البحث الصفحة الصحيحة؟
Section titled “مكتبة المعرفة: هل يجد البحث الصفحة الصحيحة؟”مجموعة البيانات الإصدار 1: صفحات بالإنجليزية والعربية ومختلطة نُشرت في مكتبة خاصة بطريقة المنتج، ثم بُحث فيها كما يبحث الوكيل (الأداة) وكما يُعطى دور المحادثة نص المكتبة (الدور)، بالبحث بالمعنى وبالكلمات المفتاحية وحدها.
| السؤال | الأداة: معدل الإصابة | الأداة: MRR | الدور: معدل الإصابة | الدور: الدقة |
|---|---|---|---|---|
| كلمات الصفحة نفسها | 100.0 % | 1.00 | 100.0 % | 68.1 % |
| سؤال بكلمات أخرى | 91.7 % | 0.88 | 91.7 % | 76.4 % |
| العربية | 100.0 % | 1.00 | 100.0 % | 87.5 % |
| العربية، بكلمات أخرى | 85.7 % | 0.86 | 85.7 % | 59.5 % |
| العربية والإنجليزية مختلطتين | 100.0 % | 1.00 | 100.0 % | 79.6 % |
| سؤال بلغة، والصفحة مكتوبة بالأخرى | 83.3 % | 0.83 | 83.3 % | 52.8 % |
| جواب موزّع على عدة صفحات | 100.0 % | 1.00 | 100.0 % | 75.0 % |
| كل الأسئلة | معدل الإصابة | MRR | الدقة | لا شيء يُعرض حين لا شيء يجيب |
|---|---|---|---|---|
| الأداة، بحث بالمعنى | 85.0 % | 0.94 | 71.1 % | 50.0 % |
| الدور، بحث بالمعنى | 85.0 % | 0.94 | 72.1 % | 50.0 % |
| الأداة، كلمات مفتاحية فقط | 54.4 % | 0.53 | 46.6 % | 78.6 % |
| الدور، كلمات مفتاحية فقط | 54.4 % | 0.53 | 46.6 % | 78.6 % |
| الأداة، المستبعدة | 68.8 % | 0.92 | 79.2 % | 25.0 % |
| الدور، المستبعدة | 68.8 % | 0.92 | 79.2 % | 25.0 % |
إعادة الإنتاج: python scripts/knowledge_bench.py run (--real للنموذج الحقيقي، و--chroma لمخزن المتجهات الحقيقي)، وpython -m pytest tests/test_knowledge_benchmark.py.
قراءة المستندات، بالعربية والإنجليزية
Section titled “قراءة المستندات، بالعربية والإنجليزية”المدوّنة الإصدار 2026-10-15.5: مستندات تبنيها كاظمه بنفسها (Word، وPDF، وHTML؛ وصفحات ممسوحة ضوئيًا للتعرّف الضوئي على الحروف OCR) من نص معروف، يقرؤها المحلِّل الحقيقي من جديد، وتُقاس كلمةً كلمة. والأرقام هي الحدود الدنيا التي يجب أن يبلغها كل تغيير (القياس، ناقصًا هامشًا صغيرًا للتعرّف الضوئي)؛ وتكون الحالة مؤهَّلة حين تبلغ أهداف الإصدار. قيست على: 2026-10-15، وWindows 11، وPython 3.12.9، وPyMuPDF 1.28.2، وpython-bidi 0.6.10، وLibreOffice 26.2.6.3 (مسار PDF العربي).
المستندات النصية
Section titled “المستندات النصية”| المستند | مؤهَّل | الكلمات التي عُثر عليها | الأرقام الدقيقة | علامات الترقيم | خلايا الجداول | أخطاء الأحرف | أخطاء الكلمات |
|---|---|---|---|---|---|---|---|
ar-docx | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
ar-html | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
ar-pdf | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
ar-pdf-long | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – | – |
bilingual-docx | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
bilingual-html | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
bilingual-pdf | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
en-docx | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
en-docx-widetable | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
en-html | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
en-pdf | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
en-pdf-columns | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – | – |
en-pdf-long | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – | – |
en-pdf-widetable | نعم | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | ≥ 100.0 % | – | – |
الصفحات الممسوحة، بالتعرّف الضوئي العصبي في كاظمه (الافتراضي)
Section titled “الصفحات الممسوحة، بالتعرّف الضوئي العصبي في كاظمه (الافتراضي)”| المستند | مؤهَّل | الكلمات التي عُثر عليها | الأرقام الدقيقة | علامات الترقيم | خلايا الجداول | أخطاء الأحرف | أخطاء الكلمات |
|---|---|---|---|---|---|---|---|
ar-ocr | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | – | ≤ 2.0 % | ≤ 2.0 % |
ar-ocr-table | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | ≥ 100.0 % | ≤ 2.0 % | ≤ 2.0 % |
en-ocr | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | – | ≤ 2.0 % | ≤ 2.0 % |
en-ocr-degraded | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | – | ≤ 2.0 % | ≤ 2.0 % |
en-ocr-table | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | ≥ 100.0 % | ≤ 2.0 % | ≤ 2.0 % |
الصفحات الممسوحة، بـTesseract وحده
Section titled “الصفحات الممسوحة، بـTesseract وحده”| المستند | مؤهَّل | الكلمات التي عُثر عليها | الأرقام الدقيقة | علامات الترقيم | خلايا الجداول | أخطاء الأحرف | أخطاء الكلمات |
|---|---|---|---|---|---|---|---|
ar-ocr | لا | ≥ 63.8 % | ≥ 31.3 % | ≥ 73.0 % | – | ≤ 26.2 % | ≤ 31.2 % |
ar-ocr-table | لا | ≥ 63.8 % | ≥ 12.3 % | ≥ 73.0 % | ≥ 55.6 % | ≤ 26.7 % | ≤ 37.1 % |
en-ocr | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | – | ≤ 2.0 % | ≤ 2.0 % |
en-ocr-degraded | لا | ≥ 98.0 % | ≥ 73.0 % | ≥ 78.0 % | – | ≤ 2.0 % | ≤ 2.0 % |
en-ocr-table | نعم | ≥ 98.0 % | ≥ 98.0 % | ≥ 98.0 % | ≥ 100.0 % | ≤ 2.0 % | ≤ 2.0 % |
-
ar-ocrغير مؤهَّل: دون مستوى الإصدار: لا يقرأ نموذج Tesseract ‘ara’ الأرقام العربية الهندية في أي خط أو نموذج قيس (fast، وscript/Arabic، وtessdata_best ara وscript/Arabic) — فمجموعة أحرف النموذج fast المثبَّت تضم واحدًا من العشرة (U+0660) ولا تضم أيًّا من الفاصلين العربيين — ويتخطى تحليلُه للتخطيط عنوانًا وفقرة (وكلاهما يُقرأ حين يُقصّ). استدعاء الرموز 0.66، وCER 0.24، وWER 0.29 مقارنةً بالصفحة كاملة (المدوّنة الإصدار 4). علامات الترقيم 0.75 (الإصدار 5): ’/’ يُقرأ بعد ‘الفصل’ حيث يخطئ في قراءة الرقم. -
ar-ocr-tableغير مؤهَّل: دون مستوى الإصدار: يُعثر على الجدول ويُقرأ خليةً خلية (فتعود تسمياته)، لكن الأرقام العربية الهندية في خلاياه لا تُقرأ (القيد نفسه الذي في ar-ocr)، وتفقد الصفحة المحيطة به العنوان والفقرة أنفسهما. علامات الترقيم 0.75: الـ’/’ نفسه الذي في ar-ocr. -
en-ocr-degradedغير مؤهَّل: دون مستوى الإصدار: على المسح المتدهور يقرأ Tesseract 3.75 على أنه 3:75 — فنقطةٌ من ضوضاء الملح في المسح تقع فوق الفاصلة العشرية. ويزيل المحرّك العصبي النقاط من كل سطر قبل قراءته؛ أما Tesseract فيقرأ الصفحة كاملة، ومرشّح نقاط على مستوى الصفحة سيأخذ قلمًا واحدًا لكل سطر (ففي الصفحة العربية تقع نقاط التذييل، بمساحة 9 وقلمها الخاص 3، فوق حجم النقطة الخاص بقلم المتن، 8، بقليل: فالحرف الأصغر سيفقد نقاطه). وكل كلمة صحيحة (فـCER/WER يعدّان الكلمات، لا علامات الترقيم داخلها)، فالأرقام المقروءة ضوئيًا من مسوحات رديئة غير مؤهَّلة مع Tesseract. علامات الترقيم 0.8 (الإصدار 5): نقطة يضيفها في منتصف السطر، ‘reached.1,234,567.89’.
إعادة الإنتاج: python scripts/document_fidelity.py، وpython -m pytest tests/test_document_fidelity.py.

