מדריך למשתמש — מאגר שאלות ה-Gold Standard
ברוכים הבאים. המערכת הזו נועדה לאסוף שאלות עם תשובות מצופות שישמשו לבדיקת מערכת ה-AI (ה-RAG) של הרצוג. המטרה: לוודא שהמערכת שולפת את המקורות הנכונים ועונה נאמנה — אך ורק על סמך תוכן הרצוג, בלי "להמציא" מידע חיצוני. כל שאלה שאתם כותבים היא מקרה-בוחן אחד. כדאי לקרוא מדריך זה פעם אחת לפני שמתחילים.
העקרונות בקצרה
- עיגון במקור בלבד. לכל תשובה חייב להיות מקור מזוהה באתר דעת/הרצוג.
- תשובה כ"בולטים". התשובה מפורקת לעובדות אטומיות (nuggets), כל עובדה בנפרד, ולא כפסקה אחת.
- בלי להעתיק את לשון המקור. נסחו את השאלה מחדש, אחרת המערכת יכולה "לנחש" את המקור לפי מילים זהות במקום להבין באמת.
- שאלות "מחוץ לתחום". חשוב לכלול גם שאלות שהמאגר לא עונה עליהן — ראו למטה.
התחלה מהירה
- היכנסו עם שם המשתמש שלכם (או הירשמו). שמכם נשמר אוטומטית כ"כותב/ת" — אין צורך להזין אותו.
- לחצו על "שאלה חדשה" בתפריט העליון.
- מלאו את פרטי השאלה, הוסיפו את המקורות ואת בולטי התשובה, ולחצו "שמירה".
- ברשימת "השאלות שלי" תוכלו לראות, לערוך או למחוק כל שאלה שכתבתם.
שדות המסומנים ב-* הם חובה. ליד כל שדה יש סימן ? — עצרו עליו עם העכבר לקבלת הסבר קצר.
איך מזהים מקור? (חשוב)
כדי שהמערכת תזהה מקור בוודאות, כל מקור מקבל מזהה ייחודי (page_id לעמוד, doc_id למסמך). אינכם צריכים להכיר או להקליד את המזהה. פשוט:
- גשו לעמוד או למסמך באתר דעת, והעתיקו את כתובת ה-URL מהדפדפן.
- הדביקו אותה בשדה "קישור למקור" בתוך "מקורות צפויים".
- בעת השמירה המערכת מזהה את המקור מהכתובת אוטומטית ומציגה סימון "✓ המקור זוהה". אין צורך לראות או להזין את המזהה עצמו.
אם הודבקה כתובת שאינה נמצאת עדיין במאגר הסריקה, השאלה תישמר אך תופיע אזהרה שהמקור לא זוהה — כדאי לבדוק את הכתובת. (הכיסוי גדל ככל שמתקדמת סריקת האתר.)
שלוש שכבות השאלה
- בתוך מקור בודד — התשובה נמצאת במאמר/עמוד אחד.
- בין מקורות באותו קורפוס — התשובה דורשת כמה מאמרים באותו כתב עת/מאגר.
- בין קורפוסים — התשובה מצריכה חיבור בין מאגרים שונים.
בולטי התשובה
פרקו את התשובה לעובדות אטומיות. לכל בולט סמנו אם הוא חובה (חייב להופיע בתשובה נכונה) או רשות (תוספת רצויה), וציינו אילו מקורות תומכים בו. כך אפשר למדוד בנפרד את איכות השליפה ואת שלמות התשובה.
שאלות "מחוץ לתחום" — למה הן חשובות
אלו שאלות שהמאגר אינו עונה עליהן. עבורן התשובה הנכונה היא שהמערכת תאמר "לא נמצא במקורות" ותימנע ממתן תשובה חיצונית. סמנו את התיבה "מחוץ לתחום" ותארו בשדה "התנהגות צפויה" מה המערכת אמורה לעשות. מומלץ ש-15%–20% מהשאלות יהיו כאלה — זו ההגנה המרכזית מפני "הזיות".
טיפים לניסוח
- נסחו בעברית, בהירה וממוקדת, בלי להעתיק את מילות המקור.
- הוסיפו תגיות נושא (מופרדות בפסיק) כדי שנוכל לסנן ולקבץ שאלות.
- גוונו את סוגי השאלה (עובדתי, השוואה, מחלוקת, יישום מעשי, תמצות ועוד).
- אם המקורות חלוקים או יש הסתייגות — רשמו זאת בשדה "הערות לתשובה".