Update model card

README.md

@@ -35,30 +35,6 @@ time. For context: 70% of those messages are not scams, so a model that always s
 score 70.5%. The number that matters more is the ranking: it gives real scams a higher probability than
 legitimate messages 98% of the time (AUC 0.98).
 
-## What changed in version 1.1
-
-The same model, with the same size, files and way of use. It was trained again with more data: reading questions,
-the same questions in many different wordings, and harder scam examples (see [Training data](#training-data-and-transparency)).
-On the same frozen tests as version 1.0:
-
-| Test | Version 1.0 | Version 1.1 | Real difference? |
-|---|---|---|---|
-| Reading comprehension (Belebele, 900 questions) | 52.7% | **62.7%** | yes (p<0.001) |
-| &nbsp;&nbsp;&nbsp;only the "which of these is NOT ..." questions (158) | 25.3% | **51.9%** | - |
-| Scam or not (298 messages) | 82.5% | **91.3%** | yes (p<0.001) |
-| &nbsp;&nbsp;&nbsp;hard cases only (65) | 63.1% | **80.0%** | yes (p=0.03) |
-| Paying customer? (30 tickets) | 63.3% | **76.7%** | not clear (p=0.12) |
-| Wording changes the answer: share of questions whose answer is not the same in all 6 wordings (1,786 questions, lower is better) | 9.8% | **4.4%** | - |
-
-- **Reading.** The biggest change. Questions of the form "which of these is NOT said in the passage" were at the level
-  of a blind guess (25.3%); now 51.9%.
-- **Scams.** Better overall and on the hard cases (scams written to look legitimate, and real messages that look like
-  scams). The scam threshold was chosen again on held-out training messages: 0.515 (version 1.0: 0.517).
-- **Wording.** Asking the same question in other words now changes the answer much less often. In version 1.0
-  one everyday wording of the paying-customer question made it answer "yes" for all 30 tickets; now no wording
-  gives one answer to every ticket. The urgency question is still unstable (see [Limitations](#limitations)).
-- No test got clearly worse (paired exact McNemar against version 1.0 on the same questions: no drop with p < 0.05).
-
 ## Try it
 
 **Python** (the [laya](https://github.com/NandhaKishorM/laya) library, `pip install laya`):
@@ -154,6 +130,8 @@ were fitted on 4,550 held-out training items, never on the test sets (`calibrati
 70.5% on the scam question and 7.7% on message type. So the answers come from the message, not
 from the wording of the question.
 
+**Rewording the question rarely changes the answer.** We asked 1,786 test questions in 6 different wordings with the same meaning. On 4.4% of them the answer was not the same in all 6. No wording makes it give one fixed answer to every item of a test. The exception is the urgency question (see [Limitations](#limitations)).
+
 ![Speed against file size](assets/speed_en.png)
 
 **It is fast on ordinary hardware.** On one laptop (Intel Core Ultra 9 285H laptop, built-in Arc 140T GPU, Windows 11), one question at a time:
@@ -221,15 +199,15 @@ Two training stages, on a rented GPU:
 | Synthetic: Yes/no claims about a message | 8,750 | teacher output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash, labelled independently by both models |
 | Synthetic: Urgency, 5 levels | 3,500 | teacher output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash, labelled independently by both models |
 | HeQ: is the proposed answer supported (yes/no) | 6,000 | CC BY 4.0 | the dataset's gold labels, train split only |
-| HeQ: plausible answer to an unanswerable question | 9,750 (4,750 of them repeated copies, new in 1.1) | CC BY 4.0 | the dataset's gold labels, train split only |
+| HeQ: plausible answer to an unanswerable question | 9,750 (4,750 of them repeated copies) | CC BY 4.0 | the dataset's gold labels, train split only |
 | HeQ: 4-option reading | 5,000 | CC BY 4.0 | the dataset's gold labels, train split only |
 | MASSIVE he-IL: voice command intent | 7,000 | CC BY 4.0 | the dataset's gold labels, train split only |
-| New in 1.1: scam or not, disguised scams and real messages that look suspicious | 6,000 | model output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash from scenario outlines written with GPT; kept only if both labellers agreed with the writer |
-| New in 1.1: message type of the same messages | 5,374 | model output, project-owned | the type both labellers agreed on |
-| New in 1.1: copies of existing items with the question reworded | 21,199 | as the original item; the wordings were written with GPT | question or options in one of 376 alternative wordings written with GPT; the label comes from the original item |
-| New in 1.1: reading, 4 options ("which is NOT", reworded answers, several sentences) | 6,825 | passages: FineWeb-2, ODC-By 1.0; questions: model output, project-owned | written by DeepSeek V4.1 Flash, checked by Gemma 4 31B with the passage and again without it; dropped if it could be answered without the passage |
-| New in 1.1: topic of a passage, 7 options | 4,000 | passages: FineWeb-2, ODC-By 1.0; labels: model output | labelled by DeepSeek V4.1 Flash and Gemma 4 31B |
-| New in 1.1: is the sender an existing paying customer (yes/no) | 575 | model output, project-owned; question wordings written with GPT | support messages written by DeepSeek V4.1 Flash, checked by Gemma 4 31B |
+| Scam or not, disguised scams and real messages that look suspicious | 6,000 | model output, project-owned (DeepSeek MIT; Gemma Apache-2.0) | written by DeepSeek V4.1 Flash from scenario outlines written with GPT; kept only if both labellers agreed with the writer |
+| Message type of the same messages | 5,374 | model output, project-owned | the type both labellers agreed on |
+| Copies of existing items with the question reworded | 21,199 | as the original item; the wordings were written with GPT | question or options in one of 376 alternative wordings written with GPT; the label comes from the original item |
+| Reading, 4 options ("which is NOT", reworded answers, several sentences) | 6,825 | passages: FineWeb-2, ODC-By 1.0; questions: model output, project-owned | written by DeepSeek V4.1 Flash, checked by Gemma 4 31B with the passage and again without it; dropped if it could be answered without the passage |
+| Topic of a passage, 7 options | 4,000 | passages: FineWeb-2, ODC-By 1.0; labels: model output | labelled by DeepSeek V4.1 Flash and Gemma 4 31B |
+| Is the sender an existing paying customer (yes/no) | 575 | model output, project-owned; question wordings written with GPT | support messages written by DeepSeek V4.1 Flash, checked by Gemma 4 31B |
 
 - **Synthetic messages (35,000 items).** DeepSeek V4.1 Flash (MIT) wrote Israeli-style SMS, WhatsApp and email messages
   from a plan (intended label, topic, tone, varied fake phone numbers and links). DeepSeek and Gemma 4 31B
@@ -237,22 +215,22 @@ Two training stages, on a rented GPU:
   agreed on 94% of them, and 93.7% of the 37,429 written messages were kept. Both ran
   through DeepInfra (via OpenRouter), with data retention off and "thinking" mode off. The synthetic data is not
   published.
-- **New in version 1.1.** 6,825 reading questions on Hebrew web passages from FineWeb-2 (ODC-By 1.0): "which of
+- **Reading, hard scams and support tickets.** 6,825 reading questions on Hebrew web passages from FineWeb-2 (ODC-By 1.0): "which of
   these is NOT true or NOT mentioned" (each paired with a positive question on the same passage), answers said in
   other words, and answers that need several sentences. DeepSeek V4.1 Flash wrote them and Gemma 4 31B checked each one
   twice, with the passage and without it; a question that could be answered without the passage was dropped.
   6,000 messages that are hard to tell apart (disguised scams, and real messages that look suspicious), written by
   DeepSeek and kept only if both labellers agreed with each other and with the writer. 4,000 passages labelled
   with a topic, 575 support messages for the paying-customer question, and 4,750 repeated HeQ items so that the
-  older skills are not lost.
+  HeQ skills keep their weight in the mix.
 - **Written with GPT.** Part of the training data was written with OpenAI's GPT, through our ChatGPT subscription: 376 alternative wordings of the questions and 34 sets of alternative answer options, used in 30,488 training items (including all 575 paying-customer items), and 120 short scenario outlines from which DeepSeek V4.1 Flash wrote 6,000 messages. GPT wrote no message and no label. In total 33,148 of the 106,723 training items (31%) use text written with GPT. GPT output is covered by OpenAI's terms of use, not by an open licence.
 - **Open data.** HeQ v1.1 (CC BY 4.0; about half of its questions are on Geektime articles, shared by the HeQ authors under
   the same licence) and MASSIVE he-IL (CC BY 4.0), training splits only. FineWeb-2 Hebrew (ODC-By 1.0) passages for
-  the new reading and topic items.
+  the reading and topic items.
 - **No leaks from the tests.** Every training item was compared with every test question; anything sharing an
-  8-word run with a test text was dropped, and so were MASSIVE commands equal to a test command. The new items were
-  checked with stricter rules: every new passage against every test text (any shared 6-word run), and every new
-  question, option and wording against every test question and every reworded test question (exact match and
+  8-word run with a test text was dropped, and so were MASSIVE commands equal to a test command. The reading, topic,
+  hard-scam, paying-customer and reworded items were also checked with stricter rules: every passage against every
+  test text (any shared 6-word run), and every question, option and wording against every test question and every reworded test question (exact match and
   character similarity).
 - **Not used:** no output of any other closed commercial chatbot, no DICTA model, no non-commercial or share-alike
   data. GPT, a closed commercial model, was used only as described above.
@@ -279,7 +257,7 @@ Caveats that change how much to trust the numbers:
 
 ## Limitations
 
-- **Reading comprehension of longer passages is better, but still limited.** Belebele: 62.7%, where a blind guess
+- **Reading comprehension of longer passages is limited.** Belebele: 62.7%, where a blind guess
   gets 25%, and still below the best other laya model on this test (see [Benchmarks](#benchmarks)). When the right
   answer is written word for word in the passage it gets 79% (252 questions); when the answer is said in other
   words it gets 56% (648 questions); on "which of these is NOT" questions 52% (158 questions). Do not ask it
@@ -295,7 +273,7 @@ Caveats that change how much to trust the numbers:
   urgency only about 62 to 64% of the time. When the urgency question is asked in other words, the answer changes on
   43% of the 30 test tickets.
 - **The in-house tests and much of the training data were written by AI models, not by people.** This includes the
-  spam and business test, the support-ticket test and the new reading questions. Real messages will look different.
+  spam and business test, the support-ticket test and the FineWeb-2 reading questions. Real messages will look different.
 - **The support-ticket tests are small**: 30 tickets per question, so one ticket moves a score by 3.3 points.
 - **Sarcasm and irony** are probably read literally. Not measured.
 - **512 tokens** (roughly 300 to 400 Hebrew words) per question. A longer message is cut from the end without a warning.
@@ -314,7 +292,7 @@ Caveats that change how much to trust the numbers:
   National NLP Program (NNLP-IL); includes Geektime passages.
 - [MASSIVE](https://huggingface.co/datasets/AmazonScience/massive): CC BY 4.0, Amazon (FitzGerald et al., 2022).
 - **DeepSeek V4.1 Flash** (MIT) and **Gemma 4 31B** (Apache-2.0), used through DeepInfra as data writer and labellers.
-- [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (Hebrew): ODC-By 1.0, Hugging Face; the passages of the new
+- [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (Hebrew): ODC-By 1.0, Hugging Face; the passages of the
   reading and topic items.
 - **OpenAI GPT**, through a ChatGPT subscription (OpenAI terms of use): question wordings and scenario outlines, as
   described in the training data section.
@@ -344,29 +322,6 @@ The full notice is in `NOTICE`.
 פרופורציה: 70% מההודעות האלה הן לא הונאה, כך שמודל שתמיד עונה "לא הונאה" היה מקבל 70.5%. המספר
 שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-98% מהמקרים (AUC 0.98).
 
-### מה השתנה בגרסה 1.1
-
-אותו מודל, באותו גודל, אותם קבצים ואותה דרך שימוש. הוא אומן מחדש עם יותר נתונים: שאלות קריאה, אותן שאלות בהרבה
-ניסוחים שונים, ודוגמאות הונאה קשות יותר (ראו [נתוני האימון](#נתוני-האימון-ושקיפות)). על אותם מבחנים קפואים כמו בגרסה 1.0:
-
-| מבחן | גרסה 1.0 | גרסה 1.1 | ההבדל אמיתי? |
-|---|---|---|---|
-| הבנת הנקרא (Belebele, 900 שאלות) | 52.7% | **62.7%** | כן (p<0.001) |
-| &nbsp;&nbsp;&nbsp;רק שאלות "איזו מהבאות לא ..." (158) | 25.3% | **51.9%** | - |
-| הונאה או לא (298 הודעות) | 82.5% | **91.3%** | כן (p<0.001) |
-| &nbsp;&nbsp;&nbsp;רק המקרים הקשים (65) | 63.1% | **80.0%** | כן (p=0.03) |
-| לקוח משלם? (30 פניות) | 63.3% | **76.7%** | לא ברור (p=0.12) |
-| הניסוח משנה את התשובה: אחוז השאלות שהתשובה עליהן לא זהה בכל 6 הניסוחים (1,786 שאלות, נמוך = טוב) | 9.8% | **4.4%** | - |
-
-- **קריאה.** השינוי הגדול ביותר. שאלות מהסוג "איזו מהבאות לא נאמרה בקטע" היו בגובה ניחוש עיוור (25.3%). עכשיו
-  51.9%.
-- **הונאות.** טוב יותר בסך הכול וגם במקרים הקשים (הונאות שנכתבו כדי להיראות לגיטימיות, והודעות אמיתיות שנראות כמו הונאה).
-  סף ההונאה נבחר מחדש על הודעות אימון שהופרדו מראש: 0.515 (בגרסה 1.0: 0.517).
-- **ניסוח.** כשמנסחים את אותה שאלה במילים אחרות, התשובה משתנה הרבה פחות. בגרסה 1.0 ניסוח יומיומי אחד של שאלת
-  הלקוח המשלם גרם לו לענות "כן" על כל 30 הפניות. עכשיו אף ניסוח לא נותן תשובה אחת לכל הפניות. שאלת
-  הדחיפות עדיין לא יציבה (ראו [מגבלות](#מגבלות)).
-- אף מבחן לא נהיה גרוע יותר באופן ברור (McNemar מדויק מול גרסה 1.0 על אותן שאלות: אין ירידה עם p קטן מ-0.05).
-
 ### לנסות
 
 **בפייתון** (הספרייה [laya](https://github.com/NandhaKishorM/laya), `pip install laya`):
@@ -466,6 +421,8 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 **הוא באמת קורא את ה��קסט.** כשמוחקים את ההודעה ומשאירים רק את השאלה, הדיוק יורד ל-70.5% בשאלת ההונאה
 ול-7.7% בסוג ההודעה. כלומר התשובות באות מההודעה, לא מהניסוח של השאלה.
 
+**ניסוח אחר של השאלה כמעט לא משנה את התשובה.** שאלנו 1,786 שאלות מבחן ב-6 ניסוחים שונים עם אותה משמעות. ב-4.4% מהן התשובה לא הייתה זהה בכל 6 הניסוחים. אף ניסוח לא גורם לו לתת תשובה קבועה אחת לכל הפריטים של מבחן. היוצא מן הכלל הוא שאלת הדחיפות (ראו [מגבלות](#מגבלות)).
+
 ![מהירות מול גודל](assets/speed_he.png)
 
 **הוא מהיר על חומרה רגילה.** על מחשב נייד עם מעבד Intel Core Ultra 9 285H וכרטיס המסך המובנה Arc 140T, ווינדוס 11, שאלה אחת בכל פעם:
@@ -529,33 +486,33 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 | סינתטי: טענות כן/לא על הודעה | 8,750 | הפלט של המורה שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash, סומן בנפרד בידי שני המודלים |
 | סינתטי: דחיפות, 5 רמות | 3,500 | הפלט של המורה שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash, סומן בנפרד בידי שני המודלים |
 | HeQ: האם התשובה המוצעת נתמכת (כן/לא) | 6,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
-| HeQ: תשובה סבירה לשאלה שאין לה תשובה | 9,750 (מתוכם 4,750 עותקים חוזרים, חדש ב-1.1) | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
+| HeQ: תשובה סבירה לשאלה שאין לה תשובה | 9,750 (מתוכם 4,750 עותקים חוזרים) | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
 | HeQ: קריאה, 4 אפשרויות | 5,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
 | MASSIVE he-IL: כוונת פקודה קולית | 7,000 | CC BY 4.0 | תוויות הזהב של המאגר, מפיצול האימון בלבד |
-| חדש ב-1.1: הונאה או לא, הונאות מוסוות והודעות אמיתיות שנראות חשודות | 6,000 | פלט מודלים, שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash לפי תרחישים שנכתבו עם GPT. נשמר רק אם שני המסמנים הסכימו עם הכותב |
-| חדש ב-1.1: סוג ההודעה של אותן הודעות | 5,374 | פלט מודלים, שייך לנו | הסוג ששני המסמנים הסכימו עליו |
-| חדש ב-1.1: עותקים של פריטים קיימים עם השאלה בניסוח אחר | 21,199 | כמו הפריט המקורי. הניסוחים נכתבו עם GPT | השאלה או האפשרויות באחד מ-376 ניסוחים חלופיים שנכתבו עם GPT. התווית לקוחה מהפריט המקורי |
-| חדש ב-1.1: קריאה, 4 אפשרויות ("איזו מהבאות לא", תשובה במילים אחרות, כמה משפטים) | 6,825 | קטעים: FineWeb-2, ODC-By 1.0. שאלות: פלט מודלים, שייך לנו | נכתב בידי DeepSeek V4.1 Flash ונבדק בידי Gemma 4 31B עם הקטע ושוב בלי הקטע. נזרק אם אפשר היה לענות בלי הקטע |
-| חדש ב-1.1: נושא של קטע, 7 אפשרויות | 4,000 | קטעים: FineWeb-2, ODC-By 1.0. תוויות: פלט מודלים | סומן בידי DeepSeek V4.1 Flash ו-Gemma 4 31B |
-| חדש ב-1.1: האם השולח לקוח משלם קיים (כן/לא) | 575 | פלט מודלים, שייך לנו. ניסוחי השאלה נכתבו עם GPT | פניות תמיכה שנכתבו בידי DeepSeek V4.1 Flash ונבדקו בידי Gemma 4 31B |
+| הונאה או לא, הונאות מוסוות והודעות אמיתיות שנראות חשודות | 6,000 | פלט מודלים, שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0) | נכתב בידי DeepSeek V4.1 Flash לפי תרחישים שנכתבו עם GPT. נשמר רק אם שני המסמנים הסכימו עם הכותב |
+| סוג ההודעה של אותן הודעות | 5,374 | פלט מודלים, שייך לנו | הסוג ששני המסמנים הסכימו עליו |
+| עותקים של פריטים קיימים עם השאלה בניסוח אחר | 21,199 | כמו הפריט המקורי. הניסוחים נכתבו עם GPT | השאלה או האפשרויות באחד מ-376 ניסוחים חלופיים שנכתבו עם GPT. התווית לקוחה מהפריט המקורי |
+| קריאה, 4 אפשרויות ("איזו מהבאות לא", תשובה במילים אחרות, כמה משפטים) | 6,825 | קטעים: FineWeb-2, ODC-By 1.0. שא��ות: פלט מודלים, שייך לנו | נכתב בידי DeepSeek V4.1 Flash ונבדק בידי Gemma 4 31B עם הקטע ושוב בלי הקטע. נזרק אם אפשר היה לענות בלי הקטע |
+| נושא של קטע, 7 אפשרויות | 4,000 | קטעים: FineWeb-2, ODC-By 1.0. תוויות: פלט מודלים | סומן בידי DeepSeek V4.1 Flash ו-Gemma 4 31B |
+| האם השולח לקוח משלם קיים (כן/לא) | 575 | פלט מודלים, שייך לנו. ניסוחי השאלה נכתבו עם GPT | פניות תמיכה שנכתבו בידי DeepSeek V4.1 Flash ונבדקו בידי Gemma 4 31B |
 
 - **הודעות סינתטיות (35,000 פריטים).** DeepSeek V4.1 Flash (MIT) כתב הודעות SMS, וואטסאפ ומייל בסגנון ישראלי
   לפי תוכנית (התווית המתוכננת, נושא, משלב, מספרי טלפון וקישורים מזויפים ומגוונים). אחר כך DeepSeek ו-Gemma 4 31B
   (Apache-2.0) סימנו כל הודעה, כל אחד לבד. הודעה נשמרה רק אם שניהם הסכימו. הם הסכימו על 94% מההודעות,
   ונשמרו 93.7% מתוך 37,429 ההודעות שנכתבו. שניהם רצו דרך DeepInfra (דרך OpenRouter), בלי שמירת נתונים
   ובלי מצב "חשיבה". הנתונים הסינתטיים לא מפורסמים.
-- **חדש בגרסה 1.1.** 6,825 שאלות קריאה על קטעים מהרשת בעברית מתוך FineWeb-2 (ODC-By 1.0): "איזו מהבאות לא
+- **קריאה, הונאות קשות ופניות תמיכה.** 6,825 שאלות קריאה על קטעים מהרשת בעברית מתוך FineWeb-2 (ODC-By 1.0): "איזו מהבאות לא
   נכונה או לא מוזכרת" (כל אחת עם שאלה חיובית צמודה על אותו קטע), תשובות שנאמרות במילים אחרות, ותשובות שדורשות כמה
   משפטים. DeepSeek V4.1 Flash כתב אותן, ו-Gemma 4 31B בדק כל אחת פעמיים, עם הקטע ובלי הקטע. שאלה שאפשר היה לענות עליה בלי
   הקטע נזרקה. 6,000 הודעות שקשה להבחין ביניהן (הונאות מוסוות, והודעות אמיתיות שנראות חשודות), שנכתבו בידי
   DeepSeek ונשמרו רק אם שני המסמנים הסכימו זה עם זה וגם עם הכותב. 4,000 קטעים שסומנו לפי נושא, 575 פניות
-  תמיכה לשאלת הלקוח המשלם, ו-4,750 פריטי HeQ חוזרים, כדי שהיכולות הקודמות לא יישכחו.
+  תמיכה לשאלת הלקוח המשלם, ו-4,750 פריטי HeQ חוזרים, כדי שליכולות של HeQ יישאר משקל בתערובת.
 - **נכתב עם GPT.** חלק מנתוני האימון נכתב עם GPT של OpenAI, דרך מנוי ChatGPT שלנו: 376 ניסוחים חלופיים של השאלות ו-34 סטים חלופיים של אפשרויות תשובה, שמופיעים ב-30,488 פריטי אימון (כולל כל 575 הפריטים של שאלת הלקוח המשלם), ו-120 תרחישים קצרים שלפיהם DeepSeek V4.1 Flash כתב 6,000 הודעות. GPT לא כתב אף הודעה ואף תווית. בסך הכול 33,148 מתוך 106,723 פריטי האימון (31%) משתמשים בטקסט שנכתב עם GPT. הפלט של GPT כפוף לתנאי השימוש של OpenAI, לא לרישיון פתוח.
 - **נתונים פתוחים.** HeQ v1.1 (CC BY 4.0. בערך חצי מהשאלות שלו על כתבות של Geektime, ומחברי HeQ משתפים אותם באותו רישיון) ו-MASSIVE
-  he-IL (CC BY 4.0), רק מפיצולי האימון. קטעים בעברית מ-FineWeb-2 (ODC-By 1.0) לשאלות הקריאה והנושא החדשות.
+  he-IL (CC BY 4.0), רק מפיצולי האימון. קטעים בעברית מ-FineWeb-2 (ODC-By 1.0) לשאלות הקריאה והנושא.
 - **בלי דליפה מהמבחנים.** כל פריט אימון הושווה לכל שאלת מבחן. כל מה שחולק רצף של 8 מילים עם טקסט מבחן נזרק, וגם
-  פקודות MASSIVE שזהות לפקודת מבחן. הפריטים החדשים נבדקו בכללים מחמירים יותר: כל קטע חדש מול כל טקסט מבחן (כל רצף משותף
-  של 6 מילים), וכל שאלה, אפשרות וניסוח חדשים מול כל שאלת מבחן וכל ניסוח חלופי של שאלת מבחן (התאמה מדויקת ודמיון תווים).
+  פקודות MASSIVE שזהות לפקודת מבחן. פריטי הקריאה, הנושא, ההונאות הקשות, הלקוח המשלם והניסוחים החלופיים נבדקו גם בכללים מחמירים יותר: כל קטע
+  מול כל טקסט מבחן (כל רצף משותף של 6 מילים), וכל שאלה, אפשרות וניסוח מול כל שאלת מבחן וכל ניסוח חלופי של שאלת מבחן (התאמה מדויקת ודמי��ן תווים).
 - **מה לא שימש:** שום פלט של צ'אטבוט מסחרי סגור אחר, שום מודל של DICTA, שום נתונים לא מסחריים או ברישיון "שיתוף זהה".
   GPT, מודל מסחרי סגור, שימש רק כמתואר למעלה.
 - **גודל:** המקודד 357.1 מיליון פרמטרים (HalleluBERT-large, MIT, אומן מחדש). ראש ההחלטות 26.5 מיליון פרמטרים,
@@ -581,7 +538,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 ### מגבלות
 
-- **הבנת הנקרא של קטעים ארוכים השתפרה, אבל עדיין מוגבלת.** Belebele: 62.7%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל
+- **הבנת הנקרא של קטעים ארוכים מוגבלת.** Belebele: 62.7%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל
   laya האחר הטוב ביותר במבחן הזה (ראו [מבחנים](#מבחנים)). כשהתשובה הנכונה כתובה בקטע מילה במילה הוא מקבל 79% (252 שאלות).
   כשהתשובה נאמרת במילים אחרות הוא מקבל 56% (648 שאלות). בשאלות "איזו מהבאות לא" 52% (158 שאלות).
   אל תשאלו אותו אם מסמך ארוך תומך בטענה.
@@ -594,7 +551,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - **דחיפות היא עניין סובייקטיבי, והתשובה עליה תלויה בניסוח.** אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62
   עד 64% מהמקרים. כששואלים את שאלת הדחיפות במילים אחרות, התשובה משתנה ב-43% מתוך 30 פניות המבחן.
 - **המבחנים הפנימיים וחלק גדול מנתוני האימון נכתבו בידי מודלי AI, לא בידי אנשים.** זה כולל את מבחן הספאם והעסקים, את
-  מבחן פניות התמיכה ואת שאלות הקריאה החדשות. הודעות אמיתיות ייראו אחרת.
+  מבחן פניות התמיכה ואת שאלות הקריאה על FineWeb-2. הודעות אמיתיות ייראו אחרת.
 - **מבחני פניות התמיכה קטנים**: 30 פניות לכל שאלה, כך שפנייה אחת מזיזה ציון ב-3.3 נקודות.
 - **ציניות ואירוניה** כנראה נקראות מילולית. לא נמדד.
 - **512 טוקנים** (בערך 300 עד 400 מילים בעברית) לשאלה. הודעה ארוכה יותר נחתכת מהסוף בלי אזהרה.
@@ -613,7 +570,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - [MASSIVE](https://huggingface.co/datasets/AmazonScience/massive): CC BY 4.0, אמזון (FitzGerald ואחרים, 2022).
 - **DeepSeek V4.1 Flash** (MIT) ו-**Gemma 4 31B** (Apache-2.0), דרך DeepInfra, ככותב הנתונים וכמסמנים.
 - [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (עברית): ODC-By 1.0, של Hugging Face. הקטעים של שאלות
-  הקריאה והנושא החדשות.
+  הקריאה והנושא.
 - **GPT של OpenAI**, דרך מנוי ChatGPT (תנאי השימוש של OpenAI): ניסוחי שאלות ותרחישים, כמתואר בפרק נתוני האימון.
 - [ggmlc](https://github.com/monatis/ggmlc) לקובצי ה-GGUF.
 - Belebele ו-SIB-200 (CC BY-SA 4.0) שימשו רק לבדיקה, אף פעם לא לאימון.

calibration.json

@@ -1,5 +1,4 @@
 {
- "version": "1.1",
  "temperatures_per_question_type": {
   "choice": 1.1032,
   "score": 1.1106,
@@ -17,11 +16,11 @@
   "chosen_on": "1000 held-out training messages, never the test",
   "held_out_acc_at_threshold": 0.98,
   "held_out_pools": {
-   "held-out hard scam and legitimate messages (new data)": {
+   "held-out hard scam and legitimate messages": {
     "n": 300,
     "acc_at_threshold": 0.9967
    },
-   "held-out spam messages (earlier data)": {
+   "held-out spam messages": {
     "n": 700,
     "acc_at_threshold": 0.9729
    }

eval_results.json

@@ -1,6 +1,5 @@
 {
  "model": "BrainboxAI/nitzotz",
- "version": "1.1",
  "eval_set": "8 frozen suites, 3990 questions (checksums in the repo's eval/manifest.json)",
  "models": {
   "nz": "BrainboxAI/nitzotz",
@@ -695,7 +694,7 @@
   "suite": "wording_he v1 (frozen): 1786 questions, each asked in 6 wordings with the same meaning",
   "flip_rate": "share of questions whose top answer is not the same in all 6 wordings (lower is better)",
   "models": {
-   "BrainboxAI/nitzotz v1.1": {
+   "BrainboxAI/nitzotz": {
     "all_item_weighted": {
      "flip_rate": 0.0442,
      "flip_vs_orig": 0.0142,
@@ -760,168 +759,12 @@
      }
     },
     "single_answer_wordings": {}
-   },
-   "BrainboxAI/nitzotz v1.0": {
-    "all_item_weighted": {
-     "flip_rate": 0.098,
-     "flip_vs_orig": 0.0427,
-     "mean_acc": 0.8745,
-     "worst_acc": 0.8634,
-     "flip_rate_spam_type_without_form_swap": 0.098
-    },
-    "parts": {
-     "heq_verify": {
-      "n_items": 600,
-      "mean_acc": 0.9333,
-      "worst_acc": 0.93,
-      "flip_rate": 0.0267
-     },
-     "massive_he_4": {
-      "n_items": 500,
-      "mean_acc": 0.9637,
-      "worst_acc": 0.96,
-      "flip_rate": 0.034
-     },
-     "spam_business_he:category": {
-      "n_items": 298,
-      "mean_acc": 0.7478,
-      "worst_acc": 0.7383,
-      "flip_rate": 0.0872
-     },
-     "spam_business_he:category:hard": {
-      "n_items": 65,
-      "mean_acc": 0.5385,
-      "worst_acc": 0.5231,
-      "flip_rate": 0.1538
-     },
-     "spam_business_he:scam": {
-      "n_items": 298,
-      "mean_acc": 0.7891,
-      "worst_acc": 0.7651,
-      "flip_rate": 0.2349
-     },
-     "spam_business_he:scam:hard": {
-      "n_items": 65,
-      "mean_acc": 0.6769,
-      "worst_acc": 0.6,
-      "flip_rate": 0.3692
-     },
-     "triage30:category": {
-      "n_items": 30,
-      "mean_acc": 0.8389,
-      "worst_acc": 0.8333,
-      "flip_rate": 0.1
-     },
-     "triage30:paying": {
-      "n_items": 30,
-      "mean_acc": 0.6278,
-      "worst_acc": 0.4667,
-      "flip_rate": 0.9667
-     },
-     "triage30:urgency": {
-      "n_items": 30,
-      "mean_acc": 0.6,
-      "worst_acc": 0.5667,
-      "flip_rate": 0.4667
-     }
-    },
-    "single_answer_wordings": {
-     "triage30:paying": [
-      "colloquial"
-     ]
-    }
    }
   }
  },
  "belebele_negation": {
   "n": 158,
-  "acc": 0.519,
-  "previous_version_acc": 0.2532
- },
- "vs_previous_version": {
-  "version": "1.0",
-  "acc": {
-   "spam_scam": 0.8255,
-   "spam_scam_hard": 0.6308,
-   "spam_type": 0.755,
-   "spam_type_hard": 0.5385,
-   "triage_type": 0.8333,
-   "triage_urgency": 0.6,
-   "triage_paying": 0.6333,
-   "massive_20": 0.888,
-   "massive_4": 0.962,
-   "sib200": 0.7941,
-   "heq_verify": 0.9383,
-   "heq_unans": 0.91,
-   "belebele": 0.5267
-  },
-  "mcnemar": {
-   "spam_scam": {
-    "new_only": 32,
-    "old_only": 6,
-    "p": 2.4342560209333897e-05
-   },
-   "spam_scam_hard": {
-    "new_only": 16,
-    "old_only": 5,
-    "p": 0.02660369873046875
-   },
-   "spam_type": {
-    "new_only": 17,
-    "old_only": 15,
-    "p": 0.860050065908581
-   },
-   "spam_type_hard": {
-    "new_only": 9,
-    "old_only": 3,
-    "p": 0.14599609375
-   },
-   "triage_type": {
-    "new_only": 2,
-    "old_only": 1,
-    "p": 1.0
-   },
-   "triage_urgency": {
-    "new_only": 7,
-    "old_only": 1,
-    "p": 0.0703125
-   },
-   "triage_paying": {
-    "new_only": 4,
-    "old_only": 0,
-    "p": 0.125
-   },
-   "massive_20": {
-    "new_only": 15,
-    "old_only": 9,
-    "p": 0.30745625495910645
-   },
-   "massive_4": {
-    "new_only": 7,
-    "old_only": 3,
-    "p": 0.34375
-   },
-   "sib200": {
-    "new_only": 22,
-    "old_only": 20,
-    "p": 0.8776143287523155
-   },
-   "heq_verify": {
-    "new_only": 12,
-    "old_only": 6,
-    "p": 0.237884521484375
-   },
-   "heq_unans": {
-    "new_only": 16,
-    "old_only": 18,
-    "p": 0.8641662404406816
-   },
-   "belebele": {
-    "new_only": 166,
-    "old_only": 76,
-    "p": 7.168318201682987e-09
-   }
-  }
+  "acc": 0.519
  },
  "seeds": {
   "heldout_this": 0.958,

rl_agent_config.json

@@ -97,6 +97,5 @@
     ],
     "holdout_by_parent": true,
     "parent_copies_dropped": 0
-  },
-  "version": "1.1"
+  }
 }