تخطَّ إلى المحتوى
أصول

البرهان

كل رقم في هذه الصفحة محسوب من بيانات المشروع ويُعاد إنتاجه بأمر واحد. لا توجد أرقام مكتوبة يدويًا في الواجهة.

١. دقة قراءة الصفحات (اختيار النموذج)

الصفحات : حواشٍ في عمودين وتعليق المحقق، آيات، وصفحة كثيفة. مجموعة المرجع: ثلاث قراءات مستقلة ثم مراجعة بشرية لكل موضع خلاف.

جارٍ التحميل…

٢. أخطاء حقيقية اكتشفها النظام بنفسه

فحص الاكتمال يقارن نص النموذج بأسطر الصفحة المطبوعة؛ ما لا يغطيه يذهب إلى المراجعة البشرية ولا يُفهرس بصمت.

    ٣. الاسترجاع والإجابة والأمان، وحالات الاختبار الرسمية

    تُحسب هذه المقاييس في مرحلة التقييم (Recall@5، اكتمال السياق، إمكانية التتبع، الامتناع، الإحالة، والحالات الاثنتا عشرة من الحزمة العلمية) وتظهر هنا تلقائيًا من ملف النتائج.

    المنهج

    • الكتاب: رياض الصالحين، طبعة ١٩٥٦، الصفحات ١٢–٤١ (٣٠ صفحة).
    • مجموعة المرجع: ١٥ صفحة، ثلاث قراءات مستقلة (Tesseract، Claude Opus، Claude Fable/Surya)، وكل موضع خلاف حسمته المراجِعة رَوان، مع عينة تحقق عشوائية.
    • محلل أصول (Gemini) ليس من قراء مجموعة المرجع، حتى لا يُقيَّم النموذج بمرجع صنعه بنفسه.
    • الطريقة التقليدية: نص Tesseract مقطّع إلى ٥٠٠ حرف، بالتضمين والبحث والنموذج أنفسها.

    الحدود

    • مدونة صغيرة (٣٠ صفحة) وكتاب واحد في نوع واحد.
    • اختير النموذج وحُسّنت التعليمات على ٣ صفحات؛ وأُعيد القياس على ١٢ صفحة محجوزة: تحسّن دقة القراءة ثبت، أما ترتيب الحواشي ذات العمودين فلم يثبت، فصار يُرتَّب آليًا بأرقام الحواشي.
    • درجات Claude منحازة لأنه كان القراءة المحورية في مجموعة المرجع.
    • فحص الاكتمال لا يكشف نقصًا أقصر من سطر مطبوع.

    أعد التقييم بنفسك

    git clone https://github.com/roroo9/asool && cd asool
uv sync && ./scripts/fetch_references.sh
uv run python -m eval.bakeoff        # page reading (needs the book PDF + keys)
uv run python -m eval.run_eval retrieval      # Asool vs baseline (free)
uv run python -m eval.run_eval answers --runs 3  # ~$0.03 per question per run
uv run python -m eval.heldout_eval           # 12 held-out gold pages
uv run python -m eval.report                 # -> summary.json -> this page
uv run pytest                        # unit tests