بناء مجموعة بيانات لتقييم X
ابدأ بوضع المسودة. يمكنك استخدام استوديو X بنموذج محلي محدد وصياغة المنشورات يدويًا ومراجعتها بحضور المشغّل قبل امتلاك مجموعة بيانات. أبقِ allow_auto معطّلًا في بطاقات الموضوعات أثناء تحسينها. غياب التقييم لا يمنح إذن النشر دون إشراف.
يغيّر تعديل سياسة الدعم أو المعارضة أو النبرة أو اللغة أو العامية أو السماح باللغة غير المفلترة سلوك التقييم. ضمّن كل أسلوب مقصود في حالات مراجعة حقيقية، بما فيها أمثلة يجب فيها تعليق الصياغة القوية. أعد تقييم الإعدادات المحفوظة نفسها قبل تفعيل الردود دون إشراف؛ فاختبار اتصال النموذج الناجح لا يحل محل هذه المراجعة.
جمع أمثلة حقيقية
Section titled “جمع أمثلة حقيقية”افتح الإعدادات → X → إدارة مجموعات البيانات أو استوديو X → مجموعات البيانات. أنشئ مجموعة باسم واضح وحدد غرضها: ملاحظات غير مصنفة، أو تحسين، أو تقييم إصدار محجوز. يظل الغرض ثابتًا. يقرأ جمع حالات X المخزنة الملاحظات المحلية المحتفظ بها دون استدعاء X أو نموذج. يتيح إضافة حالة حقيقية إدخال السياق الأصلي والاقتباسات وهوية المستدعي ومعرّف المحادثة. تبقى الحالات بعد إعادة التحميل؛ وتُرفض التعديلات المتزامنة بدل استبدال عمل مراجع آخر. تدعم كل مجموعة 1,000 حالة و2 MB، بحد أقصى 100 مجموعة لكل مستأجر.
يعرض المحرر اللغة وفئات الإخفاق والهدف المتوقع والأهلية وتسميات الأدلة والسلامة والتعليل وملاحظات المراجعة. تبقى القيم غير المصنفة كذلك. يمكنك حفظ تصنيفات غير مكتملة: اختر السخرية مثلًا واترك الأحكام الأخرى فارغة. اترك إقرار المراجعة الشخصية دون تحديد واستخدم حفظ الحالة. إذا كان الإقرار محددًا بالفعل، يتيح حفظ دون اعتماد المراجعة حفظ تعديلاتك دون اعتماد مراجعة بشرية مكتملة.
الحقول المميزة بعبارة مطلوب للمراجعة تلزم فقط لهذا الاعتماد: اللغة، وفئة واحدة على الأقل، وتأكيد الموضوع المتوقع، والأحكام الثلاثة بنعم أو لا، والتعليل. أكّد الموضوع المتوقع حتى إن كان معرّفه فارغًا لعدم وجود موضوع مناسب. عند وجود نتيجة مسجلة للنموذج، يلزم أيضًا إدخال العدد الفعلي للمخالفات الحرجة بعد الفحص. يحتفظ الحفظ دون اعتماد المراجعة بتصنيفاتك ويلغي حالة المراجعة البشرية السابقة. لا تُحتسب الحالات غير المكتملة في تأهيل الإصدار.
عند فشل الحفظ تبقى تعديلاتك ويظهر خطأ بجوار زر الحفظ، بما يشمل حقول المراجعة الناقصة والقيم غير الصالحة وأخطاء الخادم. عند نجاح الحفظ يُغلق المحرر وتظهر رسالة تأكيد. لا تؤكد اكتمال المصدر حتى تفحص الأصل. يرتبط إقرار المراجعة بالمراجع البشري المسجل دخوله؛ ويُمسح عند تعديل الحالة أو استيرادها. تبقى المحادثات المستخدمة للتحسين مستبعدة من تصدير تقارير التقييم المحجوز حتى بعد أرشفة حالات التحسين. تُحسب الحالات المترابطة محادثة واحدة؛ اجمع حالات مستقلة للإصدار.
أنشئ مجموعتين منفصلتين: مجموعة تحسين للسياسات والتوجيهات، ومجموعة إصدار محجوزة لا تستخدمها للتحسين. احتفظ بمنشورات المحادثة الواحدة في مجموعة واحدة؛ فإعادة الصياغة والمنشورات المكررة ليست حالات مستقلة. سجّل معرّف المنشور الأصلي ونصه الحرفي ومؤلفه ومحادثته واقتباساته ووصف الوسائط المهمة ووقت الملاحظة. المقتطف الملصق الذي ينقصه السياق يستوجب التعليق، ولا يمثل دليلًا مكتملًا. استخدم أمثلة حقيقية مسموحًا لك الاحتفاظ بها. تصلح الأمثلة المولدة للاختبارات الهندسية، لكنها لا تثبت دقة الإنتاج.
اجمع 200 حالة محجوزة على الأقل، منها 40 بالإنجليزية و40 بالعربية على الأقل. أدرج العربية الخليجية والكتابة المختلطة. تحتاج كل فئة إصدار إلى خمس حالات على الأقل: gulf_arabic وmixed_scripts وsarcasm وnegation وquotation وmultiple_entities وinjection وsource_contradiction وchecker_outage. يمكن أن تتداخل الفئات. أدرج منشورات عادية وأهدافًا خاطئة أو عرضية وبطاقات متنافسة وحقائق مجهولة ومصادر قديمة واستدعاءات غير موثوقة وأمثلة ينبغي عدم الرد عليها. لا تنتقِ الحالات السهلة أو المسودات الناجحة فقط.
احتفظ بورقة تصنيف تتضمن الأعمدة التالية:
| الحقل | ما يسجله المراجع |
|---|---|
| معرّف الحالة واللغة | معرّف فريد ثابت؛ en أو ar أو mixed |
| السياق الأصلي | النص الحرفي والمؤلف وسياق الاقتباس والوسائط والطابع الزمني |
| الفئات | فئات الإخفاق المناسبة من القائمة أعلاه |
| الهدف المتوقع | الموضوع الفعلي، أو نص فارغ عندما لا يوجد هدف مبرر |
| الأهلية التلقائية المتوقعة | هل ينبغي تأهيل الحالة وفق القواعد المعلنة؟ |
| الأدلة والسلامة المتوقعة | هل المرشح مدعوم وآمن؟ |
| التعليل والمصادر | سبب صحة التسميات؛ مقاطع مصادر فُحصت بصورة مستقلة |
| المصنّف وحالة المراجعة | مراجع بشري مسمى؛ تُحل الخلافات قبل الإصدار |
| حالة الحجز | صحيحة فقط إذا استُبعد المثال من التحسين |
صنّف الهدف والأهلية قبل رؤية قرار النموذج متى أمكن. اطلب من مراجع ثانٍ فحص حالات العربية الصعبة والسخرية والاقتباسات والسلامة بصورة مستقلة. عالج الخلافات صراحة؛ واستبعد الحالات غير المحسومة من تأهيل الإصدار مع الاحتفاظ بها للتحقيق. لا تعتبر الحالة مراجعة بشريًا لمجرد أن نموذجًا اقترح تسمياتها.
تسجيل النتائج الفعلية
Section titled “تسجيل النتائج الفعلية”شغّل النموذج والسياسة الثابتين على الحالات المحجوزة في مسار تقييم معزول للقراءة فقط. لا تستدعِ نقطة نشر لتقييم حالة. تساعد معاينة الاستوديو على فحص المسودات والفحوص المصنفة، لكنها تتجاوز عمدًا سلطة المستدعي وحصص النشر؛ فهي ليست مقيّمًا كاملًا لأهلية النشر دون إشراف. اجتياز المعاينة وحده لا يكفي لتقرير إصدار. يجب أن يختبر التقييم المعزول الكامل السلطة والسياق والتوجيه والأدلة والحدود والفحوص الخمسة المستقلة المستخدمة في المسار الحقيقي، مع استبدال الكتابات الخارجية بناقل يسجل النية داخل تثبيت اختبار معزول. يحتاج تقرير الإنتاج إلى قرارات فعلية مسجلة من ذلك المسار، لا نجاحات مخترعة أو تنبؤات مستنتجة من طلاقة المسودة.
اجمع الملاحظات المخزنة عبر سطر الأوامر من التثبيت الذي تريد تقييم سياسته:
python scripts/x_shadow.py --collect collected.json --limit 1000يصدّر ذلك السياق الأصلي والمرشحين المرصودين ضمن المستأجر مع تسميات فارغة. يشمل السجلات المؤرشفة كي لا تُستبعد الحالات الصعبة أو المرفوضة بصمت. أكمل التصنيف وقسّم حسب المحادثة واحفظ مجموعة محجوزة منفصلة. يبقى السياق المفقود غير متحقق صراحة؛ ولا يحوّل الجامع مقتطفًا قديمًا إلى سياق موثوق.
أبقِ الوضع الرئيسي مسودة. قبل تثبيت سياسة الإصدار، امنح allow_auto فقط للقائمة الصغيرة من الموضوعات التي تريد تأهيلها؛ يظل وضع المسودة ملزمًا بالمراجعة. تعديل هذه الأذونات بعد التقييم يبطل بصمته. ثم شغّل:
python scripts/x_shadow.py --evaluate held-out.json --output observed.jsonيلتقط المشغّل الإعدادات والمعرفة وسجل النشر في لقطة معزولة. تنفذ كل حالة مسار السلطة والصياغة والفحوص الخمسة والفحص السابق للنشر الحقيقي في عملية فرعية جديدة. يحاكي التفعيل دون تغيير الإعدادات الحية ويسجل نية الإرسال بعد الفحص؛ وتُحظر جميع اتصالات X وإيصالات التنبيهات. قد تُستدعى نقاط النماذج وتُحاسب كالمعتاد. يبقى شرط المحلية مفروضًا. أوقف تحديث الفهرسة أثناء الالتقاط؛ فتغير فهرس المتجهات أو مسار المعالجة يبطل اللقطة.
تبدأ كل حالة من خط أساس الحصص والسجل نفسه. يقيس ذلك أهلية القرار المستقل، لا السعة الإجمالية لحملة. تحتفظ الحالات المنشورة أو غير المؤكدة بتعليقها لمنع التكرار. استخدم حالات محجوزة جديدة لقياس الأهلية المستقبلية، واحتفظ بالحالات المعالجة لاختبارات الاسترداد. لتغطية تعطل الفاحص، اضبط fault لحالة حقيقية على checker_outage؛ فيجعل ذلك التحقق غير متاح عمدًا.
يحافظ المشغّل على التسميات المتوقعة لكنه يمسح human_reviewed دائمًا ويترك الانتهاكات الحرجة الفعلية دون قيمة. يجب أن يفحص مراجع المرشح الفعلي ويكمل هذه الحقول قبل التأهيل. يُبلّغ عن استعمال المزود المفقود بدل تقديره بصفر؛ والقياس الناقص لا يؤهّل. استورد تقرير التقييم في مجموعة إصدار ضمن مجموعات البيانات. افحص كل مرشح مسجل وأكمل التسميات البشرية وأدخل عدد الانتهاكات الحرجة الفعلية ثم أقرّ المراجعة. نتائج النماذج للقراءة فقط في المحرر. تغيير سياق المصدر أو الاستدعاء يمسح النتيجة القديمة لأنها لم تعد تصف الحالة. ينتج تصدير النتائج المراجعة تقريرًا لرفع التأهيل المنفصل بواسطة المسؤول. يصلح أيضًا محرر JSON أو ورقة تصنيف؛ ولا يولد أي نموذج التسميات البشرية. احتفظ بالنتائج المقيسة عند إضافة التسميات.
سجّل بصمة المسار وهويات النماذج الدقيقة والمرشح وأحكام الفحوص الخمسة وقرار الأهلية التلقائية والهدف وزمن الاستجابة المقيس واستدعاءات النماذج ورموز الإخراج. يفحص الإنسان أيضًا المرشح بحثًا عن انتهاكات حرجة. يجب أن يؤدي تعطل الفاحص وغموض السياق والادعاءات غير المدعومة إلى التعليق. لا تستبدل المخرج الذي روجع بمخرج لاحق للنموذج.
التحقق والتثبيت
Section titled “التحقق والتثبيت”يوضح الرد التلقائي على X صيغة تقرير الإصدار. استخدم لوحة التأهيل في الاستوديو أو شغّل:
python scripts/x_qualification.pypython scripts/x_qualification.py --report reviewed.jsonيطبع الأمر الأول البصمة الحالية والمتطلبات. يحسب الثاني المقاييس ويرفض التقارير الناقصة أو القديمة دون تثبيت. يجب أن تكون 50 نتيجة فعلية على الأقل مؤهلة تلقائيًا، ودقة الأهلية 98% على الأقل، مع صفر انتهاكات حرجة أو أهداف خاطئة أو حقائق غير مدعومة أو نتائج تلقائية لم تُفحص. لا يؤهل التشغيل الذي علّق جميع الحالات النشر دون إشراف. راجع أيضًا معدل التعليق والتعليق الخاطئ وزمن الاستجابة والاستعمال؛ فالدقة المرتفعة لا تعني الرد على كل حالة مفيدة.
المسؤول وحده يثبت تقريرًا مقبولًا، عبر رفع الاستوديو أو:
python scripts/x_qualification.py --report reviewed.json --installالتثبيت لا يفعّل الوضع التلقائي. يختار المالك الوضع التلقائي بصورة منفصلة ويمنحه لبطاقات محددة. يحافظ تفعيل الوضع وحده على بصمة التقييم نفسها؛ أما تغيير السياسة أو النماذج أو الحساب أو إعدادات الأدلة أو شيفرة التوليد والتحقق فيتطلب تقييمًا جديدًا. تنتهي صلاحية التقارير بعد 14 يومًا. احتفظ بالحالات الأصلية والتسميات والنتائج والتقرير معًا للتحقيق في الأخطاء وإعادة التقييم.
توسيع المجموعة تدريجيًا
Section titled “توسيع المجموعة تدريجيًا”اجمع المسودات المعلقة وحالات إخفاق التوجيه أثناء الاستخدام المعتاد بحضور المشغّل. سجّل التعديلات والرفض بوصفها إشارات تعلم؛ فالتعديل ليس تلقائيًا تسمية بشرية صحيحة. أضف الإخفاقات إلى مجموعة التحسين، ثم ثبّت التحسينات وقيّمها على مجموعة إصدار منفصلة لم تُستخدم. استبدل الحالات المحجوزة التي تسربت أو استُخدمت للتحسين بحالات مستقلة جديدة. أبقِ الردود التلقائية معلقة حتى استيفاء معايير الإصدار كاملة.

