تخطَّ إلى المحتوى
kazma.
البحث في كاظمه والتوثيق
EN

مقاييس الأداء

مدى جودة كاظمه في التذكّر والعثور والقراءة، مقيسًا على مجموعات بيانات ذات إصدارات محفوظة في مستودعها وتحرسها اختباراتها: فالتغيير الذي يُسوئ رقمًا يُفشل البناء. وهذه الصفحة مكتوبة من تلك النتائج (scripts/benchmarks_page.py)، فهي تقول ما تفعله الشيفرة اليوم. وكل مجموعة بيانات وسكربت وملف نتائج موجود في المستودع؛ والأوامر تحت كل جدول تعيد إنتاجه.

مجموعات البيانات خاصة بكاظمه، بُنيت لهذه الأسئلة بالإنجليزية والعربية وبكلتيهما، مع أسئلة مستبعدة من الضبط. وليست مجموعات لوحة صدارة عامة: قارن تشغيلات كاظمه بعضها ببعض، لا بأرقام قيست في مكان آخر.

الذاكرة: هل تجد ما أخبرتها به؟

Section titled “الذاكرة: هل تجد ما أخبرتها به؟”

مجموعة البيانات الإصدار 5: ذاكرة خاصة مُلئت بطريقة المنتج (أدوار، وحقائق، وملخصات أسبوعية)، ثم طُرحت عليها أسئلة عبر recall() الحقيقية، بالمتجهات المسجّلة لنموذج البحث بالمعنى. معدل الإصابة: الجواب ضمن ما تعرضه كاظمه على النموذج. MRR: مدى علوّ رتبته (1 = الأول). الدقة: كم مما يُعرض يخصّ السؤال.

السؤالمعدل الإصابةMRRالدقة
حقيقة أخبرتها بها100.0 %1.0064.6 %
شيء قيل في دور واحد100.0 %0.8265.6 %
شيء موزّع على عدة أدوار100.0 %1.0079.4 %
حقيقة تغيّرت (الأحدث يغلب)100.0 %1.0057.4 %
سؤال بكلمات أخرى100.0 %0.9462.9 %
سؤال بالكلمات نفسها100.0 %1.0093.8 %
شيء قالته كاظمه نفسها100.0 %0.6263.2 %
أسئلة «أطلعني على ما فاتني»90.0 %0.6755.5 %
سؤال بالعربية100.0 %0.7962.5 %
سؤال تحيط به ضوضاء100.0 %1.0061.1 %
كل الأسئلة92.5 %0.8464.4 %
المستبعدة (لم تُستعمل قط لاختيار إعداد)89.1 %0.8464.6 %

الأسئلة التي لا ذاكرة لها تُجاب بلا شيء في 27.8 % من الحالات (0.0 % في المستبعدة)؛ والهدف 60.0 %: وهو أضعف رقم في هذه الصفحة.

تعلّم الحقائق من محادثة

Section titled “تعلّم الحقائق من محادثة”

أدوار بالإنجليزية والعربية وبكلتيهما، مع الحقائق التي يتوقع شخص أن تُتذكّر. المرور السريع: قواعد كاظمه نفسها، على كل دور. مرور النموذج: النموذج يقرأ الدور بعده (ردود مسجّلة). الاستدعاء: الحقائق التي عُثر عليها. الدقة: الحقائق التي عُثر عليها وهي صحيحة. الهدوء: الأدوار التي لا شيء فيها يُتعلَّم ولم تُعلِّم شيئًا.

المروراللغةالاستدعاءالدقةالهدوء
المرور السريعالإنجليزية46.2 %100.0 %100.0 %
المرور السريعالعربية63.6 %100.0 %100.0 %
المرور السريعمختلطة60.0 %100.0 %100.0 %
مرور النموذجالإنجليزية76.9 %78.6 %100.0 %
مرور النموذجالعربية90.9 %90.9 %100.0 %
مرور النموذجمختلطة70.0 %58.3 %100.0 %

ومع Postgres مخزنًا للذاكرة، تسجّل الأسئلة نفسها معدل إصابة 89.5 %، وMRR ‏0.83، ودقة 62.1 %.

إعادة الإنتاج: python scripts/memory_bench.py run (أضف --real لاستعمال النموذج الحقيقي)، وpython -m pytest tests/test_memory_benchmark.py.

مكتبة المعرفة: هل يجد البحث الصفحة الصحيحة؟

Section titled “مكتبة المعرفة: هل يجد البحث الصفحة الصحيحة؟”

مجموعة البيانات الإصدار 1: صفحات بالإنجليزية والعربية ومختلطة نُشرت في مكتبة خاصة بطريقة المنتج، ثم بُحث فيها كما يبحث الوكيل (الأداة) وكما يُعطى دور المحادثة نص المكتبة (الدور)، بالبحث بالمعنى وبالكلمات المفتاحية وحدها.

السؤالالأداة: معدل الإصابةالأداة: MRRالدور: معدل الإصابةالدور: الدقة
كلمات الصفحة نفسها100.0 %1.00100.0 %68.1 %
سؤال بكلمات أخرى91.7 %0.8891.7 %76.4 %
العربية100.0 %1.00100.0 %87.5 %
العربية، بكلمات أخرى85.7 %0.8685.7 %59.5 %
العربية والإنجليزية مختلطتين100.0 %1.00100.0 %79.6 %
سؤال بلغة، والصفحة مكتوبة بالأخرى83.3 %0.8383.3 %52.8 %
جواب موزّع على عدة صفحات100.0 %1.00100.0 %75.0 %
كل الأسئلةمعدل الإصابةMRRالدقةلا شيء يُعرض حين لا شيء يجيب
الأداة، بحث بالمعنى85.0 %0.9471.1 %50.0 %
الدور، بحث بالمعنى85.0 %0.9472.1 %50.0 %
الأداة، كلمات مفتاحية فقط54.4 %0.5346.6 %78.6 %
الدور، كلمات مفتاحية فقط54.4 %0.5346.6 %78.6 %
الأداة، المستبعدة68.8 %0.9279.2 %25.0 %
الدور، المستبعدة68.8 %0.9279.2 %25.0 %

إعادة الإنتاج: python scripts/knowledge_bench.py run (‏--real للنموذج الحقيقي، و--chroma لمخزن المتجهات الحقيقي)، وpython -m pytest tests/test_knowledge_benchmark.py.

قراءة المستندات، بالعربية والإنجليزية

Section titled “قراءة المستندات، بالعربية والإنجليزية”

المدوّنة الإصدار 2026-10-15.5: مستندات تبنيها كاظمه بنفسها (Word، وPDF، وHTML؛ وصفحات ممسوحة ضوئيًا للتعرّف الضوئي على الحروف OCR) من نص معروف، يقرؤها المحلِّل الحقيقي من جديد، وتُقاس كلمةً كلمة. والأرقام هي الحدود الدنيا التي يجب أن يبلغها كل تغيير (القياس، ناقصًا هامشًا صغيرًا للتعرّف الضوئي)؛ وتكون الحالة مؤهَّلة حين تبلغ أهداف الإصدار. قيست على: 2026-10-15، وWindows 11، وPython 3.12.9، وPyMuPDF 1.28.2، وpython-bidi 0.6.10، وLibreOffice 26.2.6.3 (مسار PDF العربي).

المستندمؤهَّلالكلمات التي عُثر عليهاالأرقام الدقيقةعلامات الترقيمخلايا الجداولأخطاء الأحرفأخطاء الكلمات
ar-docxنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
ar-htmlنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
ar-pdfنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
ar-pdf-longنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %–––
bilingual-docxنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
bilingual-htmlنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
bilingual-pdfنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
en-docxنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
en-docx-widetableنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
en-htmlنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
en-pdfنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––
en-pdf-columnsنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %–––
en-pdf-longنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %–––
en-pdf-widetableنعم≥ 100.0 %≥ 100.0 %≥ 100.0 %≥ 100.0 %––

الصفحات الممسوحة، بالتعرّف الضوئي العصبي في كاظمه (الافتراضي)

Section titled “الصفحات الممسوحة، بالتعرّف الضوئي العصبي في كاظمه (الافتراضي)”
المستندمؤهَّلالكلمات التي عُثر عليهاالأرقام الدقيقةعلامات الترقيمخلايا الجداولأخطاء الأحرفأخطاء الكلمات
ar-ocrنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %–≤ 2.0 %≤ 2.0 %
ar-ocr-tableنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %≥ 100.0 %≤ 2.0 %≤ 2.0 %
en-ocrنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %–≤ 2.0 %≤ 2.0 %
en-ocr-degradedنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %–≤ 2.0 %≤ 2.0 %
en-ocr-tableنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %≥ 100.0 %≤ 2.0 %≤ 2.0 %

الصفحات الممسوحة، بـTesseract وحده

Section titled “الصفحات الممسوحة، بـTesseract وحده”
المستندمؤهَّلالكلمات التي عُثر عليهاالأرقام الدقيقةعلامات الترقيمخلايا الجداولأخطاء الأحرفأخطاء الكلمات
ar-ocrلا≥ 63.8 %≥ 31.3 %≥ 73.0 %–≤ 26.2 %≤ 31.2 %
ar-ocr-tableلا≥ 63.8 %≥ 12.3 %≥ 73.0 %≥ 55.6 %≤ 26.7 %≤ 37.1 %
en-ocrنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %–≤ 2.0 %≤ 2.0 %
en-ocr-degradedلا≥ 98.0 %≥ 73.0 %≥ 78.0 %–≤ 2.0 %≤ 2.0 %
en-ocr-tableنعم≥ 98.0 %≥ 98.0 %≥ 98.0 %≥ 100.0 %≤ 2.0 %≤ 2.0 %
  • ar-ocr غير مؤهَّل: دون مستوى الإصدار: لا يقرأ نموذج Tesseract ‏‘ara’ الأرقام العربية الهندية في أي خط أو نموذج قيس (fast، وscript/Arabic، وtessdata_best ara وscript/Arabic) — فمجموعة أحرف النموذج fast المثبَّت تضم واحدًا من العشرة (U+0660) ولا تضم أيًّا من الفاصلين العربيين — ويتخطى تحليلُه للتخطيط عنوانًا وفقرة (وكلاهما يُقرأ حين يُقصّ). استدعاء الرموز 0.66، وCER ‏0.24، وWER ‏0.29 مقارنةً بالصفحة كاملة (المدوّنة الإصدار 4). علامات الترقيم 0.75 (الإصدار 5): ’/’ يُقرأ بعد ‘الفصل’ حيث يخطئ في قراءة الرقم.

  • ar-ocr-table غير مؤهَّل: دون مستوى الإصدار: يُعثر على الجدول ويُقرأ خليةً خلية (فتعود تسمياته)، لكن الأرقام العربية الهندية في خلاياه لا تُقرأ (القيد نفسه الذي في ar-ocr)، وتفقد الصفحة المحيطة به العنوان والفقرة أنفسهما. علامات الترقيم 0.75: الـ’/’ نفسه الذي في ar-ocr.

  • en-ocr-degraded غير مؤهَّل: دون مستوى الإصدار: على المسح المتدهور يقرأ Tesseract ‏3.75 على أنه 3:75 — فنقطةٌ من ضوضاء الملح في المسح تقع فوق الفاصلة العشرية. ويزيل المحرّك العصبي النقاط من كل سطر قبل قراءته؛ أما Tesseract فيقرأ الصفحة كاملة، ومرشّح نقاط على مستوى الصفحة سيأخذ قلمًا واحدًا لكل سطر (ففي الصفحة العربية تقع نقاط التذييل، بمساحة 9 وقلمها الخاص 3، فوق حجم النقطة الخاص بقلم المتن، 8، بقليل: فالحرف الأصغر سيفقد نقاطه). وكل كلمة صحيحة (فـCER/WER يعدّان الكلمات، لا علامات الترقيم داخلها)، فالأرقام المقروءة ضوئيًا من مسوحات رديئة غير مؤهَّلة مع Tesseract. علامات الترقيم 0.8 (الإصدار 5): نقطة يضيفها في منتصف السطر، ‘reached.1,234,567.89’.

إعادة الإنتاج: python scripts/document_fidelity.py، وpython -m pytest tests/test_document_fidelity.py.