Card: tested quick start outputs, question wording note, hard-case and timing caveats

README.md

@@ -42,12 +42,19 @@ legitimate messages 88% of the time (AUC 0.88).
 ```python
 import laya
 agent = laya.load("BrainboxAI/nitzotz")
-q = {"scam": {"type": "noul", "instructions": "ההודעה מנסה לגרום לנמען לשלם בלי סיבה לגיטימית."}}
+q = {"scam": {"type": "noul",
+              "instructions": "ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.",
+              "criteria": {"true": "כן, זה ניסיון מרמה",
+                           "false": "לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}
 print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])
 ```
 
-Output: `(not run yet)`, the probability that the claim ("the message tries to make the reader pay for no legitimate
-reason") is true.
+Output: `0.8613`, the probability that the claim ("the message tries to make the reader click a link, pay or hand
+over details for no legitimate reason") is true.
+
+**The wording of the question matters.** This is the exact question the scam test used, and the numbers on this card
+are for it. In our tries a shorter wording ("the message is a scam attempt") gave clearly worse answers, for example
+a high scam probability for a plain verification code. If you change the wording, check it on your own messages first.
 
 **laya.exe** (the standalone binary from [ggmlc releases](https://github.com/monatis/ggmlc/releases/latest), no Python
 needed). Download the Q8 file, start the daemon, then send one JSON request per line; each answer comes back on one line:
@@ -55,11 +62,12 @@ needed). Download the Q8 file, start the daemon, then send one JSON request per
 ```bash
 hf download BrainboxAI/nitzotz nitzotz-q8_0.gguf --local-dir .
 laya.exe daemon nitzotz-q8_0.gguf --device vulkan
-{"id":"1","state":"קוד האימות שלך הוא 000000","questions":{"scam":{"type":"noul","instructions":"ההודעה היא ניסיון הונאה."}}}
+{"id":"1","state":"היי, הפגישה מחר ב-10 עדיין בתוקף?","questions":{"scam":{"type":"noul","instructions":"ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.","criteria":{"true":"כן, זה ניסיון מרמה","false":"לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}}
 ```
 
 ```json
-(not run yet)
+{"status":"ready","model":"laya"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.1511}, "confidence": 0.8785, "noul": 0.1215}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 117.02}, "id": "1"}
 ```
 
 `noul` is the probability that the claim is true. Several questions in one request are answered together in one pass.
@@ -134,10 +142,11 @@ from the wording of the question.
 | laya.exe, Q8 file, CPU only (16 threads) | 335 ms | 177 ms | 1233 ms |
 | Python (laya), CPU only | 387 ms | 130 ms | 1260 ms |
 
-The short and long columns repeat one fixed input 30 times after 5 warm-up calls. Other programs were running on the
-laptop, so treat these as rough.
+The short and long columns repeat one fixed input 30 times after 5 warm-up calls. Timings on this laptop change a
+lot from one session to another (an earlier measurement of the same setup was several times slower), so treat these
+as rough.
 
-**The GGUF files give the same answers as the Python model.** Compared with the full-precision Python model on the
+**The GGUF files give almost the same answers as the Python model.** Compared with the full-precision Python model on the
 CPU:
 
 | File, device | Same top answer, 50 questions | Largest probability gap | Same top answer, 596 spam questions | Largest gap | Average gap |
@@ -234,7 +243,9 @@ Caveats that change how much to trust the numbers:
 - **Numbers, dates, amounts and rules**: not trained and not measured. Compute them in code and pass the result in.
 - **Hard cases are the weak spot**: scams written to look legitimate (a "supplier" changing bank details, the "CEO"
   asking for a transfer) and real messages that look like scams (a real bank alert with a link, a real verification
-  code). On the 65 hard cases the scam question is right 63.1% of the time.
+  code). On the 65 hard cases the scam question is right 63.1% of the time, which is below the
+  70.8% you would get by always answering "not a scam" there. Its ranking on those cases is also weak
+  (AUC 0.63).
 - **Urgency is subjective.** Even the two teacher models matched the intended urgency only about 62 to 64% of the time.
 - **Sarcasm and irony** are probably read literally. Not measured.
 - **512 tokens** (roughly 300 to 400 Hebrew words) per question. A longer message is cut from the end without a warning.
@@ -288,13 +299,21 @@ The full notice is in `NOTICE`.
 ```python
 import laya
 agent = laya.load("BrainboxAI/nitzotz")
-q = {"scam": {"type": "noul", "instructions": "ההודעה מנסה לגרום לנמען לשלם בלי סיבה לגיטימית."}}
+q = {"scam": {"type": "noul",
+              "instructions": "ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.",
+              "criteria": {"true": "כן, זה ניסיון מרמה",
+                           "false": "לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}
 print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])
 ```
 
 <div dir="rtl">
 
-הפלט: `(not run yet)`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען לשלם בלי סיבה לגיטימית") נכונה.
+הפלט: `0.8613`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית")
+נכונה.
+
+**הניסוח של השאלה משנה.** זו בדיוק השאלה שבה השתמש מבחן ההונאות, והמספרים בכרטיס הזה הם עליה. בניסיונות שלנו ניסוח
+קצר יותר ("ההודעה היא ניסיון הונאה") נתן תשובות גרועות בהרבה, למשל הסתברות גבוהה להונאה לקוד אימות רגיל. אם משנים את
+הניסוח, בודקים אותו קודם על ההודעות שלכם.
 
 **בלי פייתון, עם laya.exe** (תוכנה עצמאית מ-[ggmlc](https://github.com/monatis/ggmlc/releases/latest)). מורידים את קובץ
 Q8, מפעילים, ושולחים בקשת JSON אחת בכל שורה. כל תשובה חוזרת בשורה אחת:
@@ -304,11 +323,12 @@ Q8, מפעילים, ושולחים בקשת JSON אחת בכל שורה. כל ת
 ```bash
 hf download BrainboxAI/nitzotz nitzotz-q8_0.gguf --local-dir .
 laya.exe daemon nitzotz-q8_0.gguf --device vulkan
-{"id":"1","state":"קוד האימות שלך הוא 000000","questions":{"scam":{"type":"noul","instructions":"ההודעה היא ניסיון הונאה."}}}
+{"id":"1","state":"היי, הפגישה מחר ב-10 עדיין בתוקף?","questions":{"scam":{"type":"noul","instructions":"ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית.","criteria":{"true":"כן, זה ניסיון מרמה","false":"לא, זו הודעה לגיטימית, גם אם יש בה קישור או בקשת תשלום"}}}}
 ```
 
 ```json
-(not run yet)
+{"status":"ready","model":"laya"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.1511}, "confidence": 0.8785, "noul": 0.1215}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 117.02}, "id": "1"}
 ```
 
 <div dir="rtl">
@@ -381,10 +401,10 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 | laya.exe, קובץ Q8, מעבד בלבד (16 תהליכונים) | 335 ms | 177 ms | 1233 ms |
 | פייתון (laya), מעבד בלבד | 387 ms | 130 ms | 1260 ms |
 
-בעמודות של ההודעה הקצרה והקלט הארוך אותה שאלה רצה 30 פעמים, אחרי 5 הרצות חימום. במחשב רצו תוכנות אחרות באותו זמן,
-אז אלה מספרים בקירוב.
+בעמודות של ההודעה הקצרה והקלט הארוך אותה שאלה רצה 30 פעמים, אחרי 5 הרצות חימום. הזמנים על המחשב הזה משתנים הרבה בין
+הפעלה להפעלה (מדידה קודמת של אותה הגדרה יצאה איטית פי כמה), אז אלה מספרים בקירוב.
 
-**קובצי ה-GGUF נותנים את אותן תשובות כמו מודל הפייתון.** בהשוואה למודל הפייתון המלא על המעבד:
+**קובצי ה-GGUF נותנים כמעט את אותן תשובות כמו מודל הפייתון.** בהשוואה למודל הפייתון המלא על המעבד:
 
 | קובץ, מכשיר | אותה תשובה מובילה, 50 שאלות | הפרש הסתברות מרבי | אותה תשובה מובילה, 596 שאלות ספאם | הפרש מרבי | הפרש ממוצע |
 |---|---|---|---|---|---|
@@ -476,7 +496,8 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - **מספרים, תאריכים, סכומים וכללים**: לא אומן עליהם ולא נמדד. חשבו אותם בקוד והעבירו את התוצאה.
 - **המקרים הקשים הם נקודת התורפה**: הונאות שנכתבו כדי להיראות לגיטימיות ("ספק" שמחליף פרטי חשבון בנק, "המנכ"ל" שמבקש
   העברה), והודעות אמיתיות שנראות כמו הונאה (התראה אמיתית מהבנק עם קישור, קוד אימות אמיתי). על 65 המקרים הקשים שאלת
-  ההונאה צודקת ב-63.1% מהמקרים.
+  ההונאה צודקת ב-63.1% מהמקרים. זה פחות מה-70.8% שהיה יוצא אם תמיד עונים שם "לא הונאה", וגם
+  הדירוג שלו במקרים האלה חלש (AUC 0.63).
 - **דחיפות היא עניין סובייקטיבי.** אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62 עד 64% מהמקרים.
 - **ציניות ואירוניה** כנראה נקראות מילולית. לא נמדד.
 - **512 טוקנים** (בערך 300 עד 400 מילים בעברית) לשאלה. הודעה ארוכה יותר נחתכת מהסוף בלי אזהרה.