Update model

README.md

@@ -19,7 +19,7 @@ datasets:
 
 ![Nitzotz: Hebrew decision model](assets/banner_en.png)
 
-![Scam detection accuracy 91.3%, 0.05 s per question, 413 MB, Apache-2.0](assets/tiles_en.png)
+![Scam detection accuracy 92.0%, 0.05 s per question, 413 MB, Apache-2.0](assets/tiles_en.png)
 
 **What it is.** Nitzotz reads a Hebrew message and answers questions you type about it: pick one of several options,
 give a score on a scale, or say yes or no to a claim. For every answer it gives a probability you can trust, so you
@@ -30,10 +30,10 @@ laptop, with no internet connection and no cost per question.
 department should get it, how urgent is it. It is not a chatbot and it is not built for long documents
 (see [Limitations](#limitations)).
 
-**In numbers.** On 298 Hebrew messages it says correctly whether a message is a scam 91.3% of the
+**In numbers.** On 298 Hebrew messages it says correctly whether a message is a scam 92.0% of the
 time. For context: 70% of those messages are not scams, so a model that always says "not a scam" would
 score 70.5%. The number that matters more is the ranking: it gives real scams a higher probability than
-legitimate messages 98% of the time (AUC 0.98).
+legitimate messages 97% of the time (AUC 0.97).
 
 ## Try it
 
@@ -49,7 +49,7 @@ q = {"scam": {"type": "noul",
 print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90 בקישור", q)["answers"]["scam"]["noul"])
 ```
 
-Output: `0.8638`, the probability that the claim ("the message tries to make the reader click a link, pay or hand
+Output: `0.8628`, the probability that the claim ("the message tries to make the reader click a link, pay or hand
 over details for no legitimate reason") is true.
 
 **The wording of the question matters.** This is the exact question the scam test used, and the numbers on this card
@@ -67,7 +67,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 ```json
 {"status":"ready","model":"laya"}
-{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.6666}, "confidence": 0.9708, "noul": 0.0292}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 239.876}, "id": "1"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.908}, "confidence": 0.9536, "noul": 0.0464}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 121.783}, "id": "1"}
 ```
 
 `noul` is the probability that the claim is true. Several questions in one request are answered together in one pass.
@@ -90,21 +90,21 @@ p < 0.05, "tie" means the difference could be chance.
 
 | Test (questions) | Nitzotz | RoeiG (non-commercial) | laya-multilingual | Chance | Nitzotz vs RoeiG | Nitzotz vs laya-multilingual |
 |---|---|---|---|---|---|---|
-| Scam or not? (298 messages) | **91.3%** | 32.2% | 50.3% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **80.0%** | 32.3% | 35.4% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| Message type, 6 options (298) | **76.2%** | 52.7% | 20.8% | 16.7% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **63.1%** | 44.6% | 24.6% | 16.7% | tie<br>p=0.05 | **better**<br>p<0.001 |
-| Support ticket type, 5 options (30) | **86.7%** | 80.0% | 56.7% | 20.0% | tie<br>p=0.69 | **better**<br>p=0.02 |
-| Ticket urgency, 5 levels (30) | **80.0%** | 36.7% | 33.3% | 20.0% | **better**<br>p=0.002 | **better**<br>p=0.003 |
-| Paying customer? yes/no (30) | **76.7%** | 56.7% | 50.0% | 50.0% | **better**<br>p=0.03 | tie<br>p=0.12 |
+| Scam or not? (298 messages) | **92.0%** | 32.2% | 50.3% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **83.1%** | 32.3% | 35.4% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| Message type, 6 options (298) | **77.8%** | 52.7% | 20.8% | 16.7% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;same, hard cases only (65) | **67.7%** | 44.6% | 24.6% | 16.7% | **better**<br>p=0.01 | **better**<br>p<0.001 |
+| Support ticket type, 5 options (30) | **90.0%** | 80.0% | 56.7% | 20.0% | tie<br>p=0.45 | **better**<br>p=0.01 |
+| Ticket urgency, 5 levels (30) | **70.0%** | 36.7% | 33.3% | 20.0% | **better**<br>p=0.03 | **better**<br>p=0.02 |
+| Paying customer? yes/no (30) | **80.0%** | 56.7% | 50.0% | 50.0% | **better**<br>p=0.02 | tie<br>p=0.06 |
 | Voice command intent, 20 options (500) | **90.0%** | 72.6% | 47.4% | 5.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| Voice command intent, 4 options (500) | **97.0%** | 90.8% | 69.4% | 25.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| News topic, 7 options (204) | 80.4% | **82.3%** | 66.2% | 14.3% | tie<br>p=0.61 | **better**<br>p<0.001 |
-| Does the passage support this answer? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | tie<br>p=0.70 | **better**<br>p<0.001 |
-| Plausible answer the passage does not give (600) | **90.7%** | 53.0% | 53.7% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
-| Reading comprehension, 4 options (900) | 62.7% | **75.4%** | 31.4% | 25.0% | **worse**<br>p<0.001 | **better**<br>p<0.001 |
+| Voice command intent, 4 options (500) | **97.2%** | 90.8% | 69.4% | 25.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| News topic, 7 options (204) | 79.4% | **82.3%** | 66.2% | 14.3% | tie<br>p=0.36 | **better**<br>p=0.001 |
+| Does the passage support this answer? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | tie<br>p=0.69 | **better**<br>p<0.001 |
+| Plausible answer the passage does not give (600) | **89.2%** | 53.0% | 53.7% | 50.0% | **better**<br>p<0.001 | **better**<br>p<0.001 |
+| Reading comprehension, 4 options (900) | 63.2% | **75.4%** | 31.4% | 25.0% | **worse**<br>p<0.001 | **better**<br>p<0.001 |
 
-On Belebele reading comprehension Nitzotz scores 62.7%, below RoeiG/laya-hebrew (75.4%); Nitzotz is built for
+On Belebele reading comprehension Nitzotz scores 63.2%, below RoeiG/laya-hebrew (75.4%); Nitzotz is built for
 message decisions, not long-passage comprehension.
 
 How to read it:
@@ -124,13 +124,13 @@ How to read it:
 how many were right: the chart above does that for every confidence level, over 3,990 test questions.
 Where the dots sit above the line, Nitzotz is more often right than it claims (it is modest); where they sit below, it
 is over-confident. This is what lets you set thresholds (see the next section). The per-question-type temperatures
-were fitted on 4,550 held-out training items, never on the test sets (`calibration.json`).
+were fitted on 4,825 held-out training items, never on the test sets (`calibration.json`).
 
 **It reads the text.** With the message removed and only the question left, its accuracy falls to
 70.5% on the scam question and 7.7% on message type. So the answers come from the message, not
 from the wording of the question.
 
-**Rewording the question rarely changes the answer.** We asked 1,786 test questions in 6 different wordings with the same meaning. On 4.4% of them the answer was not the same in all 6. No wording makes it give one fixed answer to every item of a test. The exception is the urgency question (see [Limitations](#limitations)).
+**Rewording the question rarely changes the answer.** We asked 1,786 test questions in 6 different wordings with the same meaning. On 5.0% of them the answer was not the same in all 6. No wording makes it give one fixed answer to every item of a test. The exception is the urgency question (see [Limitations](#limitations)).
 
 ![Speed against file size](assets/speed_en.png)
 
@@ -138,11 +138,11 @@ from the wording of the question.
 
 | Runtime | Median over 50 check questions (about 135 tokens) | Short message (38 tokens) | Long input (430 tokens) |
 |---|---|---|---|
-| laya.exe, Q8 file, GPU (Vulkan) | 50 ms | 38 ms | 138 ms |
-| laya.exe, F16 file, GPU (Vulkan) | 52 ms | 44 ms | 137 ms |
-| Python (laya), GPU (PyTorch XPU) | 70 ms | 44 ms | 192 ms |
-| laya.exe, Q8 file, CPU only (16 threads) | 340 ms | 186 ms | 1270 ms |
-| Python (laya), CPU only | 342 ms | 134 ms | 1236 ms |
+| laya.exe, Q8 file, GPU (Vulkan) | 48 ms | 37 ms | 127 ms |
+| laya.exe, F16 file, GPU (Vulkan) | 50 ms | 43 ms | 111 ms |
+| Python (laya), GPU (PyTorch XPU) | 60 ms | 44 ms | 139 ms |
+| laya.exe, Q8 file, CPU only (16 threads) | 309 ms | 160 ms | 1137 ms |
+| Python (laya), CPU only | 224 ms | 112 ms | 1022 ms |
 
 The short and long columns repeat one fixed input 30 times after 5 warm-up calls. Timings on this laptop change a
 lot from one session to another (an earlier measurement of the same setup was several times slower), so treat these
@@ -153,14 +153,14 @@ CPU:
 
 | File, device | Same top answer, 50 questions | Largest probability gap | Same top answer, 596 spam questions | Largest gap | Average gap |
 |---|---|---|---|---|---|
-| Q8, GPU | 50/50 | 0.0456 | 595/596 | 0.0189 | 0.00116 |
-| F16, GPU | 50/50 | 0.0031 | 596/596 | 0.0023 | 0.00023 |
-| Q8, CPU | 50/50 | 0.0563 | 595/596 | 0.0278 | 0.00185 |
-| F16, CPU | 50/50 | 0.0015 | 596/596 | 0.0017 | 0.00020 |
+| Q8, GPU | 50/50 | 0.0375 | 596/596 | 0.0166 | 0.00130 |
+| F16, GPU | 50/50 | 0.0017 | 596/596 | 0.0015 | 0.00020 |
+| Q8, CPU | 50/50 | 0.0549 | 595/596 | 0.0207 | 0.00192 |
+| F16, CPU | 50/50 | 0.0032 | 596/596 | 0.0012 | 0.00018 |
 
 A gap of 0.01 means, for example, 0.83 against 0.84. The few questions where the top answer changes are ones where
-the two best answers were almost tied. Over both spam questions the Q8 file on the GPU is right 83.6% of the time,
-against 83.7% for the Python model; the F16 file is closer (83.7%).
+the two best answers were almost tied. Over both spam questions the Q8 file on the GPU is right 84.7% of the time,
+against 84.7% for the Python model; the F16 file is closer (84.7%).
 
 ## Use it in your business
 
@@ -173,12 +173,12 @@ decides what happens next:
 - **Yellow** (not sure): send it to a person, or to a large language model if you use one.
 - **Red** (confident it is a scam): block or quarantine it.
 
-The drawing is a worked example on the 298 test messages. The upper threshold, 0.52, is the one chosen for the
-scam question on 1000 held-out training messages (never on the test); the lower one, 0.35, was picked by hand. With them,
-207 messages go to green (11 of them are in fact scams), 5 to yellow (3 scams), and 86 to red (12 of them are
+The drawing is a worked example on the 298 test messages. The upper threshold, 0.49, is the one chosen for the
+scam question on 1188 held-out training messages (never on the test); the lower one, 0.35, was picked by hand. With them,
+207 messages go to green (13 of them are in fact scams), 9 to yellow (2 scams), and 82 to red (9 of them are
 in fact legitimate). So red should mean "quarantine and check", not "delete". Pick your own thresholds on a sample of
-your own messages, and decide how many mistakes in green and red you can live with. At the 0.52 threshold alone,
-the scam answer is right 91.3% of the time overall and 80.0% on the 65 hard cases (at 0.50: 91.3% and 80.0%).
+your own messages, and decide how many mistakes in green and red you can live with. At the 0.49 threshold alone,
+the scam answer is right 92.3% of the time overall and 83.1% on the 65 hard cases (at 0.50: 92.0% and 83.1%).
 
 The model is cheap enough to run on every message. The person (or the LLM) only sees the yellow part. **Do not use it
 as the only line of defence for decisions that can hurt someone.**
@@ -189,8 +189,8 @@ Two training stages, on a rented GPU:
 
 1. **Learning to read.** HalleluBERT-large was first trained to find the answer to a question inside a passage, on
    27,085 HeQ training questions (CC BY 4.0). Passages that overlapped a test passage were removed.
-2. **Learning to decide.** A laya decision head was put on top and the whole model was trained on 106,723 items
-   (102,173 for training, 4,550 held out to pick the best of 2 passes and to fit the temperatures).
+2. **Learning to decide.** A laya decision head was put on top and the whole model was trained on 116,854 items
+   (112,029 for training, 4,825 held out to pick the best of 2 passes and to fit the temperatures).
 
 | Source | Items | Licence | How it was made |
 |---|---|---|---|
@@ -208,6 +208,9 @@ Two training stages, on a rented GPU:
 | Reading, 4 options ("which is NOT", reworded answers, several sentences) | 6,825 | passages: FineWeb-2, ODC-By 1.0; questions: model output, project-owned | written by DeepSeek V4.1 Flash, checked by Gemma 4 31B with the passage and again without it; dropped if it could be answered without the passage |
 | Topic of a passage, 7 options | 4,000 | passages: FineWeb-2, ODC-By 1.0; labels: model output | labelled by DeepSeek V4.1 Flash and Gemma 4 31B |
 | Is the sender an existing paying customer (yes/no) | 575 | model output, project-owned; question wordings written with GPT | support messages written by DeepSeek V4.1 Flash, checked by Gemma 4 31B |
+| Scam or not: warnings about scams, short scams without a link, and legitimate look-alikes | 3,746 | model output, project-owned (DeepSeek MIT; Gemma Apache-2.0); question wordings written with GPT | written by DeepSeek V4.1 Flash; kept only if both labellers agreed with the writer, except that a scam only DeepSeek recognised was kept with a softer label (70%) |
+| Message type of the same messages | 1,901 | model output, project-owned | the type both labellers agreed on, only where it fits the scam decision |
+| "None of the options": existing training items with one option changed | 4,484 | as the original item (MASSIVE and HeQ: CC BY 4.0; reading: FineWeb-2 passages, ODC-By 1.0) | the right answer removed and a "none of the options" choice added; in a third of them a wrong option was removed instead, so "none" is wrong there |
 
 - **Synthetic messages (35,000 items).** DeepSeek V4.1 Flash (MIT) wrote Israeli-style SMS, WhatsApp and email messages
   from a plan (intended label, topic, tone, varied fake phone numbers and links). DeepSeek and Gemma 4 31B
@@ -223,7 +226,21 @@ Two training stages, on a rented GPU:
   DeepSeek and kept only if both labellers agreed with each other and with the writer. 4,000 passages labelled
   with a topic, 575 support messages for the paying-customer question, and 4,750 repeated HeQ items so that the
   HeQ skills keep their weight in the mix.
-- **Written with GPT.** Part of the training data was written with OpenAI's GPT, through our ChatGPT subscription: 376 alternative wordings of the questions and 34 sets of alternative answer options, used in 30,488 training items (including all 575 paying-customer items), and 120 short scenario outlines from which DeepSeek V4.1 Flash wrote 6,000 messages. GPT wrote no message and no label. In total 33,148 of the 106,723 training items (31%) use text written with GPT. GPT output is covered by OpenAI's terms of use, not by an open licence.
+- **Scam patterns seen in real messages.** Real Hebrew messages showed two weak spots: genuine warnings about scams
+  (from banks, the police, companies) flagged as scams, and short scams without a link missed. So DeepSeek V4.1 Flash
+  wrote 3,746 more messages: 1,000 legitimate warnings about scams, 1,476 short scams
+  without a link (a small unpaid debt or toll, a "friend" with a new number, a gift, a fake payment confirmation, a
+  payment app), 389 pairs of a scam and a warning about that same scam, and 492 legitimate
+  messages that look like those scams. The keep rule changed for these: a message was kept if both labellers agreed
+  with the writer, and a scam that only DeepSeek recognised was also kept, with a softer label (70% instead of close
+  to 100%); 134 messages are of that kind. Messages that resembled one of the real messages we checked were
+  dropped before labelling, and the real messages themselves were never used for training. 134 existing
+  training rows (67 messages: a request from a "new number" or for a small debt, with no link) were
+  relabelled as scams after the labellers called them scams (with the 70% label where only DeepSeek did).
+  4,484 "none of the options" items were made from existing MASSIVE, HeQ and reading training items:
+  in 2,990 the right answer was removed and a "none of the options" choice added, and in
+  1,494 a wrong option was removed instead, so "none" is wrong there.
+- **Written with GPT.** Part of the training data was written with OpenAI's GPT, through our ChatGPT subscription: 376 alternative wordings of the questions and 34 sets of alternative answer options, used in 35,189 training items (including all 575 paying-customer items), and 120 short scenario outlines from which DeepSeek V4.1 Flash wrote 6,000 messages. GPT wrote no message and no label. In total 37,849 of the 116,854 training items (32%) use text written with GPT. GPT output is covered by OpenAI's terms of use, not by an open licence.
 - **Open data.** HeQ v1.1 (CC BY 4.0; about half of its questions are on Geektime articles, shared by the HeQ authors under
   the same licence) and MASSIVE he-IL (CC BY 4.0), training splits only. FineWeb-2 Hebrew (ODC-By 1.0) passages for
   the reading and topic items.
@@ -247,31 +264,32 @@ Two training stages, on a rented GPU:
 | SIB-200 news topic | 204 | CC BY-SA 4.0, used for testing only |
 | Belebele reading | 900 | CC BY-SA 4.0, used for testing only |
 | HeQ verify and unanswerable | 600 + 600 | HeQ v1.1 test split, CC BY 4.0 |
+| "None of the options" (reported apart, see [Limitations](#limitations)) | 400 (200 where "none" is right, 200 where it is wrong) | MASSIVE (CC BY 4.0) and Belebele (CC BY-SA 4.0) test questions with a "none of the options" choice added, used for testing only |
 
 Caveats that change how much to trust the numbers:
 - **The spam and business test was written by an AI model and checked by an AI model, not by a person.** Real inboxes
   will look different. It was frozen after that review (4 labels changed, 2 messages removed).
-- **Three training runs, three random seeds; this is one of them.** It was picked on held-out training items (95.8% against 94.9% and 95.3%), not on the tests. The three runs are close on the large tests: scam or not 91.3% here against 91.3% and 90.9%, news topic 80.4% against 80.9% and 82.3%, reading 62.7% against 63.1% and 63.4%. This run and each of the other two give the same answer on 90.6% to 91.0% of all test questions. On the 30-ticket tests they differ more: ticket urgency 80.0% here against 66.7% and 66.7%.
+- **Three training runs, three random seeds; this is one of them.** On the held-out training items the three are almost level (95.0% here against 95.2% and 95.2%). This one was picked because it did best on the 188 held-out messages of the added scam data (98.4% against 97.3% and 97.3%) and on the real messages we checked, not on the tests in this card. The three runs are close on the large tests: scam or not 92.0% here against 92.0% and 90.6%, news topic 79.4% against 82.8% and 80.4%, reading 63.2% against 60.9% and 63.1%. This run and each of the other two give the same answer on 90.1% to 90.6% of all test questions. On the 30-ticket tests they differ more: ticket urgency 70.0% here against 73.3% and 76.7%.
 - **The training labels come from two AI models.** Where both are wrong in the same way, Nitzotz learned their mistake.
 - HeQ's wrong answers in the test were picked by code, not checked by a person.
 
 ## Limitations
 
-- **Reading comprehension of longer passages is limited.** Belebele: 62.7%, where a blind guess
+- **Reading comprehension of longer passages is limited.** Belebele: 63.2%, where a blind guess
   gets 25%, and still below the best other laya model on this test (see [Benchmarks](#benchmarks)). When the right
-  answer is written word for word in the passage it gets 79% (252 questions); when the answer is said in other
-  words it gets 56% (648 questions); on "which of these is NOT" questions 52% (158 questions). Do not ask it
+  answer is written word for word in the passage it gets 77% (252 questions); when the answer is said in other
+  words it gets 58% (648 questions); on "which of these is NOT" questions 59% (158 questions). Do not ask it
   whether a long document supports a claim.
-- **Checking an answer against a passage (HeQ) works.** 94.8% with the passage; with the passage removed it falls to 50.3%, a coin flip. So on this kind of question it really reads the passage.
+- **Checking an answer against a passage (HeQ) works.** 94.8% with the passage; with the passage removed it falls to 51.0%, a coin flip. So on this kind of question it really reads the passage.
 - **Numbers, dates, amounts and rules**: not trained and not measured. Compute them in code and pass the result in.
 - **Hard cases are still the weak spot**: scams written to look legitimate (a "supplier" changing bank details, the
   "CEO" asking for a transfer) and real messages that look like scams (a real bank alert with a link, a real
-  verification code). On the 65 hard cases the scam question is right 80.0% of the time (always answering "not a
-  scam" there would give 70.8%), with AUC 0.88. At the chosen threshold it still misses 5 of the 19 scams written to look
-  legitimate, and flags 8 of the 46 real messages that look like scams.
+  verification code). On the 65 hard cases the scam question is right 83.1% of the time (always answering "not a
+  scam" there would give 70.8%), with AUC 0.84. At the chosen threshold it still misses 5 of the 19 scams written to look
+  legitimate, and flags 6 of the 46 real messages that look like scams.
 - **Urgency is subjective, and its answer depends on the wording.** Even the two teacher models matched the intended
   urgency only about 62 to 64% of the time. When the urgency question is asked in other words, the answer changes on
-  43% of the 30 test tickets.
+  63% of the 30 test tickets.
 - **The in-house tests and much of the training data were written by AI models, not by people.** This includes the
   spam and business test, the support-ticket test and the FineWeb-2 reading questions. Real messages will look different.
 - **The support-ticket tests are small**: 30 tickets per question, so one ticket moves a score by 3.3 points.
@@ -280,6 +298,16 @@ Caveats that change how much to trust the numbers:
 - **Hebrew only.** Not trained or tested on English or Arabic.
 - **Not a safety system on its own.** It makes mistakes in both directions. Keep a person in the loop for anything
   that can hurt someone.
+- **When a "none of the options" choice is added, it picks it too often.** Measured on a separate frozen test of
+  400 questions, MASSIVE and Belebele test questions rebuilt with a "none of the options" choice. When
+  "none" is the right answer, it picks it 76% of the time. When the right answer is in the list, it
+  still picks "none" on 31% of the questions and gets 61% of them right
+  (77% on voice commands, 45% on reading questions). With the
+  text removed it picks "none" almost every time (98%). If you offer such a choice, test it on your own
+  questions first.
+- **Real messages: not measured on an independent set yet.** Training data was added for genuine warnings about scams
+  and for short scams without a link, the two weak spots real messages showed. A measurement on an independent set of
+  real messages is still pending, so this card gives no number for real messages.
 
 ## Licence and attribution
 
@@ -309,7 +337,7 @@ The full notice is in `NOTICE`.
 
 ![ניצוץ: מודל החלטות בעברית](assets/banner_he.png)
 
-![דיוק בזיהוי הונאות 91.3%, 0.05 שניות לשאלה, 413 MB, Apache-2.0](assets/tiles_he.png)
+![דיוק בזיהוי הונאות 92.0%, 0.05 שניות לשאלה, 413 MB, Apache-2.0](assets/tiles_he.png)
 
 **מה זה.** ניצוץ קורא הודעה בעברית ועונה על שאלות שאתם מקלידים עליה: לבחור אחת מכמה אפשרויות, לתת ציון בסולם, או
 לענות כן או לא על טענה. על כל תשובה הוא נותן הסתברות שאפשר לסמוך עליה, כך שיודעים מתי הוא בטוח ומתי הוא מנחש. הוא לא
@@ -318,9 +346,9 @@ The full notice is in `NOTICE`.
 **בשביל מה.** להחליט מה עושים עם הודעות נכנסות: האם זו הונאה, איזה סוג הודעה זו, לאיזו מחלקה להעביר, כמה זה דחוף. זה
 לא צ'אטבוט, והוא לא בנוי למסמכים ארוכים (ראו [מגבלות](#מגבלות)).
 
-**במספרים.** על 298 הודעות בעברית הוא קובע נכון אם ההודעה היא הונאה ב-91.3% מהמקרים. בשביל
+**במספרים.** על 298 הודעות בעברית הוא קובע נכון אם ההודעה היא הונאה ב-92.0% מהמקרים. בשביל
 פרופורציה: 70% מההודעות האלה הן לא הונאה, כך שמודל שתמיד עונה "לא הונאה" היה מקבל 70.5%. המספר
-שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-98% מהמקרים (AUC 0.98).
+שחשוב יותר הוא הדירוג: הוא נותן להונאה אמיתית הסתברות גבוהה יותר מאשר להודעה תקינה ב-97% מהמקרים (AUC 0.97).
 
 ### לנסות
 
@@ -340,7 +368,7 @@ print(agent.predict("החבילה שלך מעוכבת. לשחרור שלם 12.90
 
 <div dir="rtl">
 
-הפלט: `0.8638`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית")
+הפלט: `0.8628`, ההסתברות שהטענה ("ההודעה מנסה לגרום לנמען ללחוץ על קישור, לשלם או למסור פרטים בלי סיבה לגיטימית")
 נכונה.
 
 **הניסוח של השאלה משנה.** זו בדיוק השאלה שבה השתמש מבחן ההונאות, והמספרים בכרטיס הזה הם עליה. בניסיונות שלנו ניסוח
@@ -360,7 +388,7 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 ```json
 {"status":"ready","model":"laya"}
-{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.6666}, "confidence": 0.9708, "noul": 0.0292}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 239.876}, "id": "1"}
+{"model": "nitzotz", "family": "nitzotz", "route": "forced nitzotz", "answers": {"scam": {"type": "noul", "action": {"act_probability": 0.908}, "confidence": 0.9536, "noul": 0.0464}}, "usage": {"input_tokens": 66, "output_tokens": 0, "latency_ms": 121.783}, "id": "1"}
 ```
 
 <div dir="rtl">
@@ -384,21 +412,21 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | מבחן (מספר שאלות) | ניצוץ | RoeiG (לא מסחרי) | laya-multilingual | ניחוש | ניצוץ מול RoeiG | ניצוץ מול laya-multilingual |
 |---|---|---|---|---|---|---|
-| הונאה או לא? (298 הודעות) | **91.3%** | 32.2% | 50.3% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **80.0%** | 32.3% | 35.4% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| סוג ההודעה, 6 אפשרויות (298) | **76.2%** | 52.7% | 20.8% | 16.7% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **63.1%** | 44.6% | 24.6% | 16.7% | תיקו<br>p=0.05 | **טוב יותר**<br>p<0.001 |
-| סוג פניית תמיכה, 5 אפשרויות (30) | **86.7%** | 80.0% | 56.7% | 20.0% | תיקו<br>p=0.69 | **טוב יותר**<br>p=0.02 |
-| דחיפות הפנייה, 5 רמות (30) | **80.0%** | 36.7% | 33.3% | 20.0% | **טוב יותר**<br>p=0.002 | **טוב יותר**<br>p=0.003 |
-| לקוח משלם? כן/לא (30) | **76.7%** | 56.7% | 50.0% | 50.0% | **טוב יותר**<br>p=0.03 | תיקו<br>p=0.12 |
+| הונאה או לא? (298 הודעות) | **92.0%** | 32.2% | 50.3% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **83.1%** | 32.3% | 35.4% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| סוג ההודעה, 6 אפשרויות (298) | **77.8%** | 52.7% | 20.8% | 16.7% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| &nbsp;&nbsp;&nbsp;אותו דבר, רק המקרים הקשים (65) | **67.7%** | 44.6% | 24.6% | 16.7% | **טוב יותר**<br>p=0.01 | **טוב יותר**<br>p<0.001 |
+| סוג פניית תמיכה, 5 אפשרויות (30) | **90.0%** | 80.0% | 56.7% | 20.0% | תיקו<br>p=0.45 | **טוב יותר**<br>p=0.01 |
+| דחיפות הפנייה, 5 רמות (30) | **70.0%** | 36.7% | 33.3% | 20.0% | **טוב יותר**<br>p=0.03 | **טוב יותר**<br>p=0.02 |
+| לקוח משלם? כן/לא (30) | **80.0%** | 56.7% | 50.0% | 50.0% | **טוב יותר**<br>p=0.02 | תיקו<br>p=0.06 |
 | כוונת פקודה קולית, 20 אפשרויות (500) | **90.0%** | 72.6% | 47.4% | 5.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| כוונת פקודה קולית, 4 אפשרויות (500) | **97.0%** | 90.8% | 69.4% | 25.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| נושא של ידיעה, 7 אפשרויות (204) | 80.4% | **82.3%** | 66.2% | 14.3% | תיקו<br>p=0.61 | **טוב יותר**<br>p<0.001 |
-| האם הקטע תומך בתשובה? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | תיקו<br>p=0.70 | **טוב יותר**<br>p<0.001 |
-| תשובה סבירה שהקטע לא נותן (600) | **90.7%** | 53.0% | 53.7% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
-| הבנת הנקרא, 4 אפשרויות (900) | 62.7% | **75.4%** | 31.4% | 25.0% | **חלש יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| כוונת פקודה קולית, 4 אפשרויות (500) | **97.2%** | 90.8% | 69.4% | 25.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| נושא של ידיעה, 7 אפשרויות (204) | 79.4% | **82.3%** | 66.2% | 14.3% | תיקו<br>p=0.36 | **טוב יותר**<br>p=0.001 |
+| האם ה��טע תומך בתשובה? (600) | **94.8%** | 94.2% | 48.8% | 50.0% | תיקו<br>p=0.69 | **טוב יותר**<br>p<0.001 |
+| תשובה סבירה שהקטע לא נותן (600) | **89.2%** | 53.0% | 53.7% | 50.0% | **טוב יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
+| הבנת הנקרא, 4 אפשרויות (900) | 63.2% | **75.4%** | 31.4% | 25.0% | **חלש יותר**<br>p<0.001 | **טוב יותר**<br>p<0.001 |
 
-בהבנת הנקרא של Belebele ניצוץ מקבל 62.7%, פחות מ-RoeiG/laya-hebrew (75.4%). ניצוץ בנוי להחלטות על הודעות, לא
+בהבנת הנקרא של Belebele ניצוץ מקבל 63.2%, פחות מ-RoeiG/laya-hebrew (75.4%). ניצוץ בנוי להחלטות על הודעות, לא
 להבנה של קטעים ארוכים.
 
 איך לקרוא את זה:
@@ -415,13 +443,13 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 **להסתברויות יש משמעות.** קחו את כל התשובות שבהן ניצוץ אמר שהוא בטוח בערך ב-70 עד 80%, וספרו כמה מהן היו נכונות.
 הגרף עושה את זה לכל רמת ביטחון, על 3,990 שאלות מבחן. כשהנקודות מעל הקו, ניצוץ צודק יותר ממה שהוא אומר (הוא
-צנוע). כשהן מתחת, הוא בטוח בעצמו יותר מדי. זה מה שמאפשר לקבוע ספים (בפרק הבא). הכיול נעשה על 4,550 פריטי אימון
+צנוע). כשהן מתחת, הוא בטוח בעצמו יותר מדי. זה מה שמאפשר לקבוע ספים (בפרק הבא). הכיול נעשה על 4,825 פריטי אימון
 שהופרדו מראש, אף פעם לא על המבחן (`calibration.json`).
 
 **הוא באמת קורא את הטקסט.** כשמוחקים את ההודעה ומשאירים רק את השאלה, הדיוק יורד ל-70.5% בשאלת ההונאה
 ול-7.7% בסוג ההודעה. כלומר התשובות באות מההודעה, לא מהניסוח של השאלה.
 
-**ניסוח אחר של השאלה כמעט לא משנה את התשובה.** שאלנו 1,786 שאלות מבחן ב-6 ניסוחים שונים עם אותה משמעות. ב-4.4% מהן התשובה לא הייתה זהה בכל 6 הניסוחים. אף ניסוח לא גורם לו לתת תשובה קבועה אחת לכל הפריטים של מבחן. היוצא מן הכלל הוא שאלת הדחיפות (ראו [מגבלות](#מגבלות)).
+**ניסוח אחר של השאלה כמעט לא משנה את התשובה.** שאלנו 1,786 שאלות מבחן ב-6 ניסוחים שונים עם אותה משמעות. ב-5.0% מהן התשובה לא הייתה זהה בכל 6 הניסוחים. אף ניסוח לא גורם לו לתת תשובה קבועה אחת לכל הפריטים של מבחן. היוצא מן הכלל הוא שאלת הדחיפות (ראו [מגבלות](#מגבלות)).
 
 ![מהירות מול גודל](assets/speed_he.png)
 
@@ -429,11 +457,11 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | איך מריצים | חציון על 50 שאלות בדיקה (בממוצע 135 טוקנים) | הודעה קצרה (38 טוקנים) | קלט ארוך (430 טוקנים) |
 |---|---|---|---|
-| laya.exe, קובץ Q8, כרטיס מסך (Vulkan) | 50 ms | 38 ms | 138 ms |
-| laya.exe, קובץ F16, כרטיס מסך (Vulkan) | 52 ms | 44 ms | 137 ms |
-| פייתון (laya), כרטיס מסך (PyTorch XPU) | 70 ms | 44 ms | 192 ms |
-| laya.exe, קובץ Q8, מעבד בלבד (16 תהליכונים) | 340 ms | 186 ms | 1270 ms |
-| פייתון (laya), מעבד בלבד | 342 ms | 134 ms | 1236 ms |
+| laya.exe, קובץ Q8, כרטיס מסך (Vulkan) | 48 ms | 37 ms | 127 ms |
+| laya.exe, קובץ F16, כרטיס מסך (Vulkan) | 50 ms | 43 ms | 111 ms |
+| פייתון (laya), כרטיס מסך (PyTorch XPU) | 60 ms | 44 ms | 139 ms |
+| laya.exe, קובץ Q8, מעבד בלבד (16 תהליכונים) | 309 ms | 160 ms | 1137 ms |
+| פייתון (laya), מעבד בלבד | 224 ms | 112 ms | 1022 ms |
 
 בעמודות של ההודעה הקצרה והקלט הארוך אותה שאלה רצה 30 פעמים, אחרי 5 הרצות חימום. הזמנים על המחשב הזה משתנים הרבה בין
 הפעלה להפעלה (מדידה קודמת של אותה הגדרה יצאה איטית פי כמה), אז אלה מספרים בקירוב.
@@ -442,14 +470,14 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 | קובץ, מכשיר | אותה תשובה מובילה, 50 שאלות | הפרש הסתברות מרבי | אותה תשובה מובילה, 596 שאלות ספאם | הפרש מרבי | הפרש ממוצע |
 |---|---|---|---|---|---|
-| Q8, כרטיס מסך | 50/50 | 0.0456 | 595/596 | 0.0189 | 0.00116 |
-| F16, כרטיס מסך | 50/50 | 0.0031 | 596/596 | 0.0023 | 0.00023 |
-| Q8, מעבד | 50/50 | 0.0563 | 595/596 | 0.0278 | 0.00185 |
-| F16, מעבד | 50/50 | 0.0015 | 596/596 | 0.0017 | 0.00020 |
+| Q8, כרטיס מסך | 50/50 | 0.0375 | 596/596 | 0.0166 | 0.00130 |
+| F16, כרטיס מסך | 50/50 | 0.0017 | 596/596 | 0.0015 | 0.00020 |
+| Q8, מעבד | 50/50 | 0.0549 | 595/596 | 0.0207 | 0.00192 |
+| F16, מעבד | 50/50 | 0.0032 | 596/596 | 0.0012 | 0.00018 |
 
 פער של 0.01 פירושו, למשל, 0.83 מול 0.84. השאלות המעטות שבהן התשובה המובילה משתנה הן כאלה שבהן שתי התשובות הטובות
-היו כמעט שוות. בשתי שאלות הספאם יחד קובץ Q8 על כרטיס המסך צודק ב-83.6%, מול 83.7% למודל הפייתון. קובץ F16
-קרוב יותר (83.7%).
+היו כמעט שוות. בשתי שאלות הספאם יחד קובץ Q8 על כרטיס המסך צודק ב-84.7%, מול 84.7% למודל הפייתון. קובץ F16
+קרוב יותר (84.7%).
 
 ### שימוש בעסק
 
@@ -461,11 +489,11 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - **צהוב** (לא בטוח): לבדיקה של אדם, או של מודל שפה גדול אם אתם משתמשים בו.
 - **אדום** (בטוח שזו הונאה): חסימה או הסגר.
 
-השרטוט הוא דוגמה על 298 הודעות המבחן. הסף העליון, 0.52, הוא הסף שנבחר לשאלת ההונאה על 1000 הודעות אימון
-שהופרדו מראש (אף פעם לא על המבחן). הסף התחתון, 0.35, נבחר ביד. איתם 207 הודעות הולכות לירוק (11 מהן הן בעצם הונאה),
-5 לצהוב (3 הונאות), ו-86 לאדום (12 מהן בעצם תקינות). כלומר אדום צריך להיות "הסגר ובדיקה", לא "מחיקה".
-בחרו ספים משלכם על מדגם של ההודעות שלכם, והחליטו כמה טעויות בירוק ובאדום אתם מוכנים לקבל. בסף 0.52 לבדו, תשובת
-ההונאה נכונה ב-91.3% מהמקרים בסך הכול וב-80.0% על 65 המקרים הקשים (בסף 0.50: 91.3% ו-80.0%).
+השרטוט הוא דוגמה על 298 הודעות המבחן. הסף העליון, 0.49, הוא הסף שנבחר לשאלת ההונאה על 1188 הודעות אימון
+שהופרדו מראש (אף פעם לא על המבחן). הסף התחתון, 0.35, נבחר ביד. איתם 207 הודעות הולכות לירוק (13 מהן הן בעצם הונאה),
+9 לצהוב (2 הונאות), ו-82 לאדום (9 מהן בעצם תקינות). כלומר אדום צריך להיות "הסגר ובדיקה", לא "מחיקה".
+בחרו ספים משלכם על מדגם של ההודעות שלכם, והחליטו כמה טעויות בירוק ובאדום אתם מוכנים לקבל. בסף 0.49 לבדו, תשובת
+ההונאה נכונה ב-92.3% מהמקרים בסך הכול וב-83.1% על 65 המקרים הקשים (בסף 0.50: 92.0% ו-83.1%).
 
 המודל זול מספיק כדי להריץ אותו על כל הודעה. האדם (או מודל השפה) רואה רק את החלק הצהוב. **אל תשתמשו בו כקו הגנה
 יחיד בהחלטות שיכולות לפגוע במישהו.**
@@ -476,8 +504,8 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 
 1. **ללמוד לקרוא.** HalleluBERT-large אומן קודם למצוא את התשובה לשאלה בתוך קטע, על 27,085 שאלות אימון של HeQ
    (CC BY 4.0). קטעים שחפפו לקטע מבחן הוסרו.
-2. **ללמוד להחליט.** מעליו הונח ראש החלטות של laya, וכל המודל אומן על 106,723 פריטים (102,173 לאימון,
-   ו-4,550 הופרדו מראש כדי לבחור את הטוב מבין 2 מעברים ולכייל את הטמפרטורות).
+2. **ללמוד להחליט.** מעליו הונח ראש החלטות של laya, וכל המודל אומן על 116,854 פריטים (112,029 לאימון,
+   ו-4,825 הופרדו מראש כדי לבחור את הטוב מבין 2 מעברים ולכייל את הטמפרטורות).
 
 | מקור | פריטים | רישיון | איך נוצר |
 |---|---|---|---|
@@ -495,6 +523,9 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 | קריאה, 4 אפשרויות ("איזו מהבאות לא", תשובה במילים אחרות, כמה משפטים) | 6,825 | קטעים: FineWeb-2, ODC-By 1.0. שאלות: פלט מודלים, שייך לנו | נכתב בידי DeepSeek V4.1 Flash ונבדק בידי Gemma 4 31B עם הקטע ושוב בלי הקטע. נזרק אם אפשר היה לענות בלי הקטע |
 | נושא של קטע, 7 אפשרויות | 4,000 | קטעים: FineWeb-2, ODC-By 1.0. תוויות: פלט מודלים | סומן בידי DeepSeek V4.1 Flash ו-Gemma 4 31B |
 | האם השולח לקוח משלם קיים (כן/לא) | 575 | פלט מודלים, שייך לנו. ניסוחי השאלה נכתבו עם GPT | פניות תמיכה שנכתבו בידי DeepSeek V4.1 Flash ונבדקו בידי Gemma 4 31B |
+| הונאה או לא: אזהרות מפני הונאה, הונאות קצרות בלי קישור, והודעות לגיטימיות שנראות כמוהן | 3,746 | פלט מודלים, שייך לנו (DeepSeek, MIT; Gemma, Apache-2.0). ניסוחי השאלה נכתבו עם GPT | נכתב בידי DeepSeek V4.1 Flash. נשמר רק אם שני המסמנים הסכימו עם הכותב, חוץ מהונאה שרק DeepSeek זיהה, שנשמרה עם תווית רכה יותר (70%) |
+| סוג ההודעה של אותן הודעות | 1,901 | פלט מודלים, שייך לנו | הסוג ששני המסמנים הסכימו עליו, רק כשהוא מתאים להחלטה אם זו הונאה |
+| "אף אחת מהאפשרויות": פריטי אימון קיימים עם אפשרות אחת ששונתה | 4,484 | כמו הפריט המקורי (MASSIVE ו-HeQ: CC BY 4.0. קריאה: קטעים מ-FineWeb-2, ODC-By 1.0) | התשובה הנכונה הוסרה ונוספה אפשרות "אף אחת מהאפשרויות". בשליש מהם הוסרה במקום זה אפשרות שגויה, כך ש"אף אחת" שגויה שם |
 
 - **הודעות סינתטיות (35,000 פריטים).** DeepSeek V4.1 Flash (MIT) כתב הודעות SMS, וואטסאפ ומייל בסגנון ישראלי
   לפי תוכנית (התווית המתוכננת, נושא, משלב, מספרי טלפון וקישורים מזויפים ומגוונים). אחר כך DeepSeek ו-Gemma 4 31B
@@ -507,7 +538,18 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
   הקטע נזרקה. 6,000 הודעות שקשה להבחין ביניהן (הונאות מוסוות, והודעות אמיתיות שנראות חשודות), שנכתבו בידי
   DeepSeek ונשמרו רק אם שני המסמנים הסכימו זה עם זה וגם עם הכותב. 4,000 קטעים שסומנו לפי נושא, 575 פניות
   תמיכה לשאלת הלקוח המשלם, ו-4,750 פריטי HeQ חוזרים, כדי שליכולות של HeQ יישאר משקל בתערובת.
-- **נכתב עם GPT.** חלק מנתוני האימון נכתב עם GPT של OpenAI, דרך מנוי ChatGPT שלנו: 376 ניסוחים חלופיים של השאלות ו-34 סטים חלופיים של אפשרויות תשובה, שמופיעים ב-30,488 פריטי אימון (כולל כל 575 הפריטים של שאלת הלקוח המשלם), ו-120 תרחישים קצרים שלפיהם DeepSeek V4.1 Flash כתב 6,000 הודעות. GPT לא כתב אף הודעה ואף תווית. בסך הכול 33,148 מתוך 106,723 פריטי האימון (31%) משתמשים בטקסט שנכתב עם GPT. הפלט של GPT כפוף לתנאי השימוש של OpenAI, לא לרישיון פתוח.
+- **דפוסי הונאה שנראו בהודעות אמיתיות.** הודעות אמיתיות בעברית הראו שתי נקודות חלשות: אזהרות אמיתיות מפני הונאה (מבנקים,
+  מהמשטרה, מחברות) שסומנו כהונאה, והונאות קצרות בלי קישור שפוספסו. לכן DeepSeek V4.1 Flash כתב עוד 3,746 הודעות:
+  1,000 אזהרות לגיטימיות מפני הונאה, 1,476 הונאות קצרות בלי קישור (חוב קטן או אגרה שלא שולמו, "חבר" עם מספר חדש, מתנה,
+  אישור תשלום מזויף, אפליקציית תשלומים), 389 זוגות של הונאה ואזהרה על אותה הונאה, ו-492 הודעות לגיטימיות
+  שנראות כמו ההונאות האלה. כלל השמירה השתנה בהן: הודעה נשמרה אם שני המסמנים הסכימו עם הכותב, והונאה שרק DeepSeek זיהה
+  נשמרה גם כן, עם תווית רכה יותר (70% במקום קרוב ל-100%). 134 הודעות הן מהסוג הזה. הודעות שדמו לאחת מההודעות
+  האמיתיות שבדקנו נזרקו לפני הסימון, וההודעות האמיתיות עצמן לא שימשו לאימון. 134 שורות אימון קיימות
+  (67 הודעות: בקשה מ"מספר חדש" או על חוב קטן, בלי קישור) תויגו מחדש כהונאה אחרי שהמסמנים קבעו שהן הונאה
+  (עם תווית 70% כשרק DeepSeek קבע). 4,484 פריטי "אף אחת מהאפשרויות" נבנו מפריטי אימון קיימים של MASSIVE, HeQ
+  וקריאה: ב-2,990 מהם התשובה הנכונה הוסרה ונוספה אפשרות "אף אחת מהאפשרויות", וב-1,494 הוסרה במקום זה
+  אפשרות שגויה, כך ש"אף אחת" שגויה שם.
+- **נכתב עם GPT.** חלק מנתוני האימון נכתב עם GPT של OpenAI, דרך מנוי ChatGPT שלנו: 376 ניסוחים חלופיים של השאלות ו-34 סטים חלופיים של אפשרויות תשובה, שמופיעים ב-35,189 פריטי אימון (כולל כל 575 הפריטים של שאלת הלקוח המשלם), ו-120 תרחישים קצרים שלפיהם DeepSeek V4.1 Flash כתב 6,000 הודעות. GPT לא כתב אף הודעה ואף תווית. בסך הכול 37,849 מתוך 116,854 פריטי האימון (32%) משתמשים בטקסט שנכתב עם GPT. הפלט של GPT כפוף לתנאי השימוש של OpenAI, לא לרישיון פתוח.
 - **נתונים פתוחים.** HeQ v1.1 (CC BY 4.0. בערך חצי מהשאלות שלו על כתבות של Geektime, ומחברי HeQ משתפים אותם באותו רישיון) ו-MASSIVE
   he-IL (CC BY 4.0), רק מפיצולי האימון. קטעים בעברית מ-FineWeb-2 (ODC-By 1.0) לשאלות הקריאה והנושא.
 - **בלי דליפה מהמבחנים.** כל פריט אימון הושווה לכל שאלת מבחן. כל מה שחולק רצף של 8 מילים עם טקסט מבחן נזרק, וגם
@@ -528,28 +570,29 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 | SIB-200, נושא ידיעה | 204 | CC BY-SA 4.0, רק לבדיקה |
 | Belebele, הבנת הנקרא | 900 | CC BY-SA 4.0, רק לבדיקה |
 | HeQ, אימות ו"אין תשובה" | 600 + 600 | פיצול המבחן של HeQ v1.1, CC BY 4.0 |
+| "אף אחת מהאפשרויות" (מדווח בנפרד, ראו [מגבלות](#מגבלות)) | 400 (200 ש"אף אחת" נכונה בהן, 200 שהיא שגויה בהן) | שאלות מבחן של MASSIVE (CC BY 4.0) ו-Belebele (CC BY-SA 4.0) עם אפשרות "אף אחת מהאפשרויות" שנוספה, רק לבדיקה |
 
 הסתייגויות שמשנות כמה לסמוך על המספרים:
 - **מבחן הספאם והעסקים נכתב בידי מודל AI ונבדק בידי מודל AI, לא בידי אדם.** תיבות דואר אמיתיות ייראו אחרת. הוא ננעל
   אחרי הבדיקה הזו (4 תוויות שונו, 2 הודעות הוסרו).
-- **שלוש ריצות אימון, עם שלושה זרעים אקראיים, וזו אחת מהן.** היא נבחרה לפי פריטי אימון שהופרדו מראש (95.8% מול 94.9% ו-95.3%), לא לפי המבחנים. במבחנים הגדולים שלוש הריצות קרובות: הונאה או לא 91.3% כאן מול 91.3% ו-90.9%, נושא ידיעה 80.4% מול 80.9% ו-82.3%, הבנת הנקרא 62.7% מול 63.1% ו-63.4%. הריצה הזו וכל אחת מהשתיים האחרות נותנות אותה תשובה על 90.6% עד 91.0% מכל שאלות המבחן. במבחנים של 30 פניות ההבדלים גדולים יותר: דחיפות הפנייה 80.0% כאן מול 66.7% ו-66.7%.
+- **שלוש ריצות אימון, עם שלושה זרעים אקראיים, וזו אחת מהן.** על פריטי האימון שהופרדו מראש שלוש הריצות כמעט שוות (95.0% כאן מול 95.2% ו-95.2%). הריצה הזו נבחרה כי היא הייתה הטובה ביותר על 188 ההודעות המוחזקות מנתוני ההונאה שנוספו (98.4% מול 97.3% ו-97.3%) ועל ההודעות האמיתיות שבדקנו, לא לפי המבחנים בכרטיס הזה. במבחנים הגדולים שלוש הריצות קרובות: הונאה או לא 92.0% כאן מול 92.0% ו-90.6%, נושא ידיעה 79.4% מול 82.8% ו-80.4%, הבנת הנקרא 63.2% מול 60.9% ו-63.1%. הריצה הזו וכל אחת מהשתיים האחרות נותנות אותה תשובה על 90.1% עד 90.6% מכל שאלות המבחן. במבחנים של 30 פניות ההבדלים גדולים יותר: דחיפות הפנייה 70.0% כאן מול 73.3% ו-76.7%.
 - **תוויות האימון באות משני מודלי AI.** איפה ששניהם טועים באותו אופן, ניצוץ למד את הטעות שלהם.
 - התשובות השגויות של HeQ במבחן נבחרו בקוד, ולא נבדקו בידי אדם.
 
 ### מגבלות
 
-- **הבנת הנקרא של קטעים ארוכים מוגבלת.** Belebele: 62.7%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל
-  laya האחר הטוב ביותר במבחן הזה (ראו [מבחנים](#מבחנים)). כשהתשובה הנכונה כתובה בקטע מילה במילה הוא מקבל 79% (252 שאלות).
-  כשהתשובה נאמרת במילים אחרות הוא מקבל 56% (648 שאלות). בשאלות "איזו מהבאות לא" 52% (158 שאלות).
+- **הבנת הנקרא של קטעים ארוכים מוגבלת.** Belebele: 63.2%, כשניחוש עיוור מקבל 25%, ועדיין פחות ממודל
+  laya האחר הטוב ביותר במבחן הזה (ראו [מבחנים](#מבחנים)). כשהתשובה הנכונה כתובה בקטע מילה במילה הוא מקבל 77% (252 שאלות).
+  כשהתשובה נאמרת במילים אחרות הוא מקבל 58% (648 שאלות). בשאלות "איזו מהבאות לא" 59% (158 שאלות).
   אל תשאלו אותו אם מסמך ארוך תומך בטענה.
-- **בדיקה אם קטע תומך בתשובה (HeQ) עובדת.** 94.8% עם הקטע. כשמוחקים את הקטע זה יורד ל-50.3%, הטלת מטבע. כלומר בשאלות מה��וג הזה הוא באמת קורא את הקטע.
+- **בדיקה אם קטע תומך בתשובה (HeQ) עובדת.** 94.8% עם הקטע. כשמוחקים את הקטע זה יורד ל-51.0%, הטלת מטבע. כלומר בשאלות מהסוג הזה הוא באמת קורא את הקטע.
 - **מספרים, תאריכים, סכומים וכללים**: לא אומן עליהם ולא נמדד. חשבו אותם בקוד והעבירו את התוצאה.
 - **המקרים הקשים עדיין נקודת התורפה**: הונאות שנכתבו כדי להיראות לגיטימיות ("ספק" שמחליף פרטי חשבון בנק, "המנכ"ל"
   שמבקש העברה), והודעות אמיתיות שנראות כמו הונאה (התראה אמיתית מהבנק עם קישור, קוד אימות אמיתי). על 65 המקרים הקשים
-  שאלת ההונאה צודקת ב-80.0% מהמקרים (תשובה קבועה "לא הונאה" הייתה מקבלת שם 70.8%), עם AUC 0.88. בסף שנבחר הוא
-  עדיין מפספס 5 מתוך 19 הונאות שנכתבו כדי להיראות לגיטימיות, ומתריע על 8 מתוך 46 הודעות אמיתיות שנראות כמו הונאה.
+  שאלת ההונאה צודקת ב-83.1% מהמקרים (תשובה קבועה "לא הונאה" הייתה מקבלת שם 70.8%), עם AUC 0.84. בסף שנבחר הוא
+  עדיין מפספס 5 מתוך 19 הונאות שנכתבו כדי להיראות לגיטימיות, ומתריע על 6 מתוך 46 הודעות אמיתיות שנראות כמו הונאה.
 - **דחיפות היא עניין סובייקטיבי, והתשובה עליה תלויה בניסוח.** אפילו שני מודלי המורה הסכימו עם הדחיפות המתוכננת רק בכ-62
-  עד 64% מהמקרים. כששואלים את שאלת הדחיפות במילים אחרות, התשובה משתנה ב-43% מתוך 30 פניות המבחן.
+  עד 64% מהמקרים. כששואלים את שאלת הדחיפות במילים אחרות, התשובה משתנה ב-63% מתוך 30 פניות המבחן.
 - **המבחנים הפנימיים וחלק גדול מנתוני האימון נכתבו בידי מודלי AI, לא בידי אנשים.** זה כולל את מבחן הספאם והעסקים, את
   מבחן פניות התמיכה ואת שאלות הקריאה על FineWeb-2. הודעות אמיתיות ייראו אחרת.
 - **מבחני פניות התמיכה קטנים**: 30 פניות לכל שאלה, כך שפנייה אחת מזיזה ציון ב-3.3 נקודות.
@@ -557,6 +600,14 @@ laya.exe daemon nitzotz-q8_0.gguf --device vulkan
 - **512 טוקנים** (בערך 300 עד 400 מילים בעברית) לשאלה. הודעה ארוכה יותר נחתכת מהסוף בלי אזהרה.
 - **עברית בלבד.** לא אומן ולא נבדק על אנגלית או ערבית.
 - **זו לא מערכת הגנה לבד.** הוא טועה לשני הכיוונים. השאירו אדם בתהליך בכל דבר שיכול לפגוע במישהו.
+- **כשמוסיפים אפשרות "אף אחת מהאפשרויות", הוא בוחר בה יותר מדי.** נמדד על מבחן קפוא נפרד של 400 שאלות, שאלות מבחן
+  של MASSIVE ו-Belebele שנבנו מחדש עם אפשרות "אף אחת מהאפשרויות". כש"אף אחת" היא התשובה הנכונה, הוא בוחר בה ב-76%
+  מהמקרים. כשהתשובה הנכונה נמצאת ברשימה, הוא עדיין בוחר "אף אחת" ב-31% מהשאלות, וצודק רק ב-61% מהן
+  (77% בפקודות קוליות, 45% בשאלות קריאה). כשמוחקים את הטקסט הוא בוחר "אף אחת" כמעט תמיד
+  (98%). אם אתם מציעים אפשרות כזו, בדקו אותה קודם על השאלות שלכם.
+- **הודעות אמיתיות: עוד לא נמדד על סט בלתי תלוי.** נוספו נתוני אימון לאזהרות אמיתיות מפני הונאה ולהונאות קצרות בלי קישור,
+  שתי הנקודות החלשות שהודעות אמיתיות הראו. מדידה על סט בלתי תלוי של הודעות אמיתיות עוד לא נעשתה, ולכן בכרטיס הזה אין
+  מספר על הודעות אמיתיות.
 
 ### רישיון וקרדיטים
 

calibration.json

@@ -1,57 +1,61 @@
 {
  "temperatures_per_question_type": {
-  "choice": 1.1032,
-  "score": 1.1106,
-  "noul": 1.196
+  "choice": 1.0971,
+  "score": 1.139,
+  "noul": 1.162
  },
  "temperature_fit_items": {
-  "choice": 2446,
+  "choice": 2533,
   "score": 261,
-  "noul": 1843
+  "noul": 2031
  },
  "note": "The temperatures are already applied by laya (rl_agent_config.json 'temperature') and baked into the GGUF files. They were fitted on held-out training items, never on the test sets.",
  "scam_threshold": {
   "question": "noul, 'is this message a scam'",
-  "threshold": 0.5151,
-  "chosen_on": "1000 held-out training messages, never the test",
-  "held_out_acc_at_threshold": 0.98,
+  "threshold": 0.4861,
+  "chosen_on": "1188 held-out training messages, never the test",
+  "held_out_acc_at_threshold": 0.979,
   "held_out_pools": {
+   "held-out warnings about scams, short scams without a link and look-alike messages": {
+    "n": 188,
+    "acc_at_threshold": 0.984
+   },
    "held-out hard scam and legitimate messages": {
     "n": 300,
-    "acc_at_threshold": 0.9967
+    "acc_at_threshold": 0.9933
    },
    "held-out spam messages": {
     "n": 700,
-    "acc_at_threshold": 0.9729
+    "acc_at_threshold": 0.9714
    }
   },
-  "test_acc_at_0.5": 0.9128,
-  "test_acc_at_threshold": 0.9128,
-  "test_hard_acc_at_0.5": 0.8,
-  "test_hard_acc_at_threshold": 0.8,
-  "test_auc": 0.9761
+  "test_acc_at_0.5": 0.9195,
+  "test_acc_at_threshold": 0.9228,
+  "test_hard_acc_at_0.5": 0.8308,
+  "test_hard_acc_at_threshold": 0.8308,
+  "test_auc": 0.969
  },
  "ramzor_example_thresholds": {
   "green_below": 0.35,
-  "red_from": 0.52,
+  "red_from": 0.49,
   "zones_on_test": {
    "g": {
     "n": 207,
     "share": 0.6946308724832215,
-    "scam": 11,
-    "legit": 196
+    "scam": 13,
+    "legit": 194
    },
    "y": {
-    "n": 5,
-    "share": 0.016778523489932886,
-    "scam": 3,
-    "legit": 2
+    "n": 9,
+    "share": 0.030201342281879196,
+    "scam": 2,
+    "legit": 7
    },
    "r": {
-    "n": 86,
-    "share": 0.28859060402684567,
-    "scam": 74,
-    "legit": 12
+    "n": 82,
+    "share": 0.2751677852348993,
+    "scam": 73,
+    "legit": 9
    }
   }
  }

eval_results.json

@@ -17,17 +17,17 @@
    "n": 298,
    "chance": 0.5,
    "acc": {
-    "nz": 0.9128,
+    "nz": 0.9195,
     "roeig": 0.3221,
     "laya_ml": 0.5034
    },
    "brier": {
-    "nz": 0.126,
+    "nz": 0.1321,
     "roeig": 0.7604,
     "laya_ml": 0.8042
    },
    "ece": {
-    "nz": 0.0548,
+    "nz": 0.0714,
     "roeig": 0.3802,
     "laya_ml": 0.38
    },
@@ -39,13 +39,13 @@
    "vs_nitzotz": {
     "roeig": {
      "nz_only": 186,
-     "other_only": 10,
-     "p": 3.8398295923083015e-43
+     "other_only": 8,
+     "p": 3.5766488810898616e-45
     },
     "laya_ml": {
-     "nz_only": 136,
+     "nz_only": 138,
      "other_only": 14,
-     "p": 2.7927572561866964e-26
+     "p": 8.462475337125398e-27
     }
    }
   },
@@ -54,17 +54,17 @@
    "n": 65,
    "chance": 0.5,
    "acc": {
-    "nz": 0.8,
+    "nz": 0.8308,
     "roeig": 0.3231,
     "laya_ml": 0.3538
    },
    "brier": {
-    "nz": 0.2474,
+    "nz": 0.2842,
     "roeig": 0.7076,
     "laya_ml": 1.1057
    },
    "ece": {
-    "nz": 0.0959,
+    "nz": 0.1132,
     "roeig": 0.3391,
     "laya_ml": 0.5564
    },
@@ -76,13 +76,13 @@
    "vs_nitzotz": {
     "roeig": {
      "nz_only": 34,
-     "other_only": 3,
-     "p": 1.233129296451807e-07
+     "other_only": 1,
+     "p": 2.0954757928848267e-09
     },
     "laya_ml": {
-     "nz_only": 34,
-     "other_only": 5,
-     "p": 2.4299079086631536e-06
+     "nz_only": 35,
+     "other_only": 4,
+     "p": 3.353161446284503e-07
     }
    }
   },
@@ -91,17 +91,17 @@
    "n": 298,
    "chance": 0.1667,
    "acc": {
-    "nz": 0.7617,
+    "nz": 0.7785,
     "roeig": 0.5268,
     "laya_ml": 0.2081
    },
    "brier": {
-    "nz": 0.3177,
+    "nz": 0.3312,
     "roeig": 0.6489,
     "laya_ml": 1.0746
    },
    "ece": {
-    "nz": 0.0872,
+    "nz": 0.0683,
     "roeig": 0.1043,
     "laya_ml": 0.4131
    },
@@ -112,14 +112,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 104,
-     "other_only": 34,
-     "p": 1.9152268319067766e-09
+     "nz_only": 108,
+     "other_only": 33,
+     "p": 1.6862794099851315e-10
     },
     "laya_ml": {
-     "nz_only": 174,
-     "other_only": 9,
-     "p": 8.929600498958945e-41
+     "nz_only": 177,
+     "other_only": 7,
+     "p": 1.0714267651676255e-43
     }
    }
   },
@@ -128,17 +128,17 @@
    "n": 65,
    "chance": 0.1667,
    "acc": {
-    "nz": 0.6308,
+    "nz": 0.6769,
     "roeig": 0.4462,
     "laya_ml": 0.2462
    },
    "brier": {
-    "nz": 0.4714,
+    "nz": 0.4865,
     "roeig": 0.7315,
     "laya_ml": 1.1094
    },
    "ece": {
-    "nz": 0.0653,
+    "nz": 0.1027,
     "roeig": 0.1877,
     "laya_ml": 0.4109
    },
@@ -149,14 +149,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 22,
-     "other_only": 10,
-     "p": 0.050102459732443094
+     "nz_only": 23,
+     "other_only": 8,
+     "p": 0.010673840530216694
     },
     "laya_ml": {
-     "nz_only": 29,
-     "other_only": 4,
-     "p": 1.0928604751825333e-05
+     "nz_only": 31,
+     "other_only": 3,
+     "p": 7.660128176212311e-07
     }
    }
   },
@@ -165,17 +165,17 @@
    "n": 30,
    "chance": 0.2,
    "acc": {
-    "nz": 0.8667,
+    "nz": 0.9,
     "roeig": 0.8,
     "laya_ml": 0.5667
    },
    "brier": {
-    "nz": 0.2164,
+    "nz": 0.1838,
     "roeig": 0.3191,
     "laya_ml": 0.6667
    },
    "ece": {
-    "nz": 0.1364,
+    "nz": 0.1292,
     "roeig": 0.1321,
     "laya_ml": 0.2772
    },
@@ -186,14 +186,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 4,
+     "nz_only": 5,
      "other_only": 2,
-     "p": 0.6875
+     "p": 0.453125
     },
     "laya_ml": {
-     "nz_only": 11,
+     "nz_only": 12,
      "other_only": 2,
-     "p": 0.0224609375
+     "p": 0.012939453125
     }
    }
   },
@@ -202,35 +202,35 @@
    "n": 30,
    "chance": 0.2,
    "acc": {
-    "nz": 0.8,
+    "nz": 0.7,
     "roeig": 0.3667,
     "laya_ml": 0.3333
    },
    "brier": {
-    "nz": 0.4576,
+    "nz": 0.4868,
     "roeig": 0.708,
     "laya_ml": 0.7501
    },
    "ece": {
-    "nz": 0.3313,
+    "nz": 0.2041,
     "roeig": 0.0322,
     "laya_ml": 0.2167
    },
    "empty_acc": {
-    "nz": 0.1,
+    "nz": 0.4,
     "roeig": 0.2333,
     "laya_ml": 0.0667
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 15,
-     "other_only": 2,
-     "p": 0.002349853515625
+     "nz_only": 14,
+     "other_only": 4,
+     "p": 0.0308837890625
     },
     "laya_ml": {
-     "nz_only": 17,
-     "other_only": 3,
-     "p": 0.0025768280029296875
+     "nz_only": 15,
+     "other_only": 4,
+     "p": 0.0192108154296875
     }
    }
   },
@@ -239,17 +239,17 @@
    "n": 30,
    "chance": 0.5,
    "acc": {
-    "nz": 0.7667,
+    "nz": 0.8,
     "roeig": 0.5667,
     "laya_ml": 0.5
    },
    "brier": {
-    "nz": 0.4053,
+    "nz": 0.2841,
     "roeig": 0.4338,
     "laya_ml": 0.8183
    },
    "ece": {
-    "nz": 0.2204,
+    "nz": 0.1466,
     "roeig": 0.2362,
     "laya_ml": 0.4284
    },
@@ -260,14 +260,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 6,
+     "nz_only": 7,
      "other_only": 0,
-     "p": 0.03125
+     "p": 0.015625
     },
     "laya_ml": {
      "nz_only": 14,
-     "other_only": 6,
-     "p": 0.11531829833984375
+     "other_only": 5,
+     "p": 0.063568115234375
     }
    }
   },
@@ -281,30 +281,30 @@
     "laya_ml": 0.474
    },
    "brier": {
-    "nz": 0.1701,
+    "nz": 0.1671,
     "roeig": 0.3801,
     "laya_ml": 0.7338
    },
    "ece": {
-    "nz": 0.0412,
+    "nz": 0.0583,
     "roeig": 0.0395,
     "laya_ml": 0.1661
    },
    "empty_acc": {
-    "nz": 0.058,
+    "nz": 0.064,
     "roeig": 0.052,
     "laya_ml": 0.044
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 100,
-     "other_only": 13,
-     "p": 8.471157872064744e-18
+     "nz_only": 98,
+     "other_only": 11,
+     "p": 1.3281749873159828e-18
     },
     "laya_ml": {
-     "nz_only": 220,
-     "other_only": 7,
-     "p": 5.374231848579288e-56
+     "nz_only": 222,
+     "other_only": 9,
+     "p": 2.661469004156119e-54
     }
    }
   },
@@ -313,35 +313,35 @@
    "n": 500,
    "chance": 0.25,
    "acc": {
-    "nz": 0.97,
+    "nz": 0.972,
     "roeig": 0.908,
     "laya_ml": 0.694
    },
    "brier": {
-    "nz": 0.0514,
+    "nz": 0.0462,
     "roeig": 0.1369,
     "laya_ml": 0.3987
    },
    "ece": {
-    "nz": 0.0443,
+    "nz": 0.0501,
     "roeig": 0.0393,
     "laya_ml": 0.0468
    },
    "empty_acc": {
-    "nz": 0.24,
+    "nz": 0.254,
     "roeig": 0.242,
     "laya_ml": 0.256
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 37,
-     "other_only": 6,
-     "p": 1.636124125070637e-06
+     "nz_only": 35,
+     "other_only": 3,
+     "p": 6.677873898297548e-08
     },
     "laya_ml": {
-     "nz_only": 142,
-     "other_only": 4,
-     "p": 4.188799933293481e-37
+     "nz_only": 141,
+     "other_only": 2,
+     "p": 1.846933796755538e-39
     }
    }
   },
@@ -350,17 +350,17 @@
    "n": 204,
    "chance": 0.1429,
    "acc": {
-    "nz": 0.8039,
+    "nz": 0.7941,
     "roeig": 0.8235,
     "laya_ml": 0.6618
    },
    "brier": {
-    "nz": 0.3002,
+    "nz": 0.3027,
     "roeig": 0.285,
     "laya_ml": 0.4918
    },
    "ece": {
-    "nz": 0.0857,
+    "nz": 0.0708,
     "roeig": 0.0751,
     "laya_ml": 0.1784
    },
@@ -371,14 +371,14 @@
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 15,
-     "other_only": 19,
-     "p": 0.6075913612730801
+     "nz_only": 12,
+     "other_only": 18,
+     "p": 0.361594608053565
     },
     "laya_ml": {
      "nz_only": 47,
-     "other_only": 18,
-     "p": 0.0004221303234752052
+     "other_only": 20,
+     "p": 0.0013071686857636005
     }
    }
   },
@@ -392,30 +392,30 @@
     "laya_ml": 0.4883
    },
    "brier": {
-    "nz": 0.0899,
+    "nz": 0.0938,
     "roeig": 0.0926,
     "laya_ml": 0.8274
    },
    "ece": {
-    "nz": 0.0484,
+    "nz": 0.0365,
     "roeig": 0.0178,
     "laya_ml": 0.3946
    },
    "empty_acc": {
-    "nz": 0.5033,
+    "nz": 0.51,
     "roeig": 0.8,
     "laya_ml": 0.59
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 33,
-     "other_only": 29,
-     "p": 0.7035366713552734
+     "nz_only": 30,
+     "other_only": 26,
+     "p": 0.6888797607233396
     },
     "laya_ml": {
-     "nz_only": 299,
-     "other_only": 23,
-     "p": 2.1018222751120708e-62
+     "nz_only": 296,
+     "other_only": 20,
+     "p": 3.520918733970021e-64
     }
    }
   },
@@ -424,35 +424,35 @@
    "n": 600,
    "chance": 0.5,
    "acc": {
-    "nz": 0.9067,
+    "nz": 0.8917,
     "roeig": 0.53,
     "laya_ml": 0.5367
    },
    "brier": {
-    "nz": 0.159,
+    "nz": 0.1739,
     "roeig": 0.856,
     "laya_ml": 0.7348
    },
    "ece": {
-    "nz": 0.0185,
+    "nz": 0.0484,
     "roeig": 0.4336,
     "laya_ml": 0.3421
    },
    "empty_acc": {
-    "nz": 0.505,
+    "nz": 0.5033,
     "roeig": 0.5033,
     "laya_ml": 0.5167
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 249,
-     "other_only": 23,
-     "p": 4.261733883444211e-49
+     "nz_only": 243,
+     "other_only": 26,
+     "p": 2.502982180208191e-45
     },
     "laya_ml": {
-     "nz_only": 244,
-     "other_only": 22,
-     "p": 1.5017318497531166e-48
+     "nz_only": 240,
+     "other_only": 27,
+     "p": 7.334224519429334e-44
     }
    }
   },
@@ -461,35 +461,35 @@
    "n": 900,
    "chance": 0.25,
    "acc": {
-    "nz": 0.6267,
+    "nz": 0.6322,
     "roeig": 0.7544,
     "laya_ml": 0.3144
    },
    "brier": {
-    "nz": 0.5567,
+    "nz": 0.5672,
     "roeig": 0.3442,
     "laya_ml": 0.8341
    },
    "ece": {
-    "nz": 0.1917,
+    "nz": 0.1919,
     "roeig": 0.0324,
     "laya_ml": 0.2307
    },
    "empty_acc": {
-    "nz": 0.3133,
+    "nz": 0.3011,
     "roeig": 0.3189,
     "laya_ml": 0.2844
    },
    "vs_nitzotz": {
     "roeig": {
-     "nz_only": 66,
-     "other_only": 181,
-     "p": 1.4586191292115705e-13
+     "nz_only": 72,
+     "other_only": 182,
+     "p": 3.66511528586527e-12
     },
     "laya_ml": {
-     "nz_only": 365,
-     "other_only": 84,
-     "p": 8.256351793141917e-43
+     "nz_only": 366,
+     "other_only": 80,
+     "p": 9.158467645861244e-45
     }
    }
   }
@@ -497,33 +497,33 @@
  "significance": "paired exact McNemar against Nitzotz on the same questions",
  "latency_ms": {
   "q8": {
-   "median": 50.2,
-   "p90": 76.5,
+   "median": 47.7,
+   "p90": 75.6,
    "n": 50
   },
   "f16": {
-   "median": 52.4,
-   "p90": 79.5,
+   "median": 50.5,
+   "p90": 77.0,
    "n": 50
   },
   "py": {
-   "median": 70.2,
-   "p90": 109.6,
+   "median": 60.0,
+   "p90": 98.2,
    "n": 50
   },
   "q8_cpu": {
-   "median": 339.5,
-   "p90": 710.2,
+   "median": 309.1,
+   "p90": 711.0,
    "n": 50
   },
   "f16_cpu": {
-   "median": 491.5,
-   "p90": 988.3,
+   "median": 425.9,
+   "p90": 854.0,
    "n": 50
   },
   "py_cpu": {
-   "median": 342.0,
-   "p90": 666.5,
+   "median": 223.9,
+   "p90": 452.7,
    "n": 50
   }
  },
@@ -532,32 +532,32 @@
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 38.1,
-    "p90_ms": 39.6,
-    "min_ms": 36.5
+    "median_ms": 36.9,
+    "p90_ms": 38.4,
+    "min_ms": 35.6
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 138.4,
-    "p90_ms": 141.0,
-    "min_ms": 130.6
+    "median_ms": 127.4,
+    "p90_ms": 130.0,
+    "min_ms": 108.0
    }
   },
   "f16": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 43.5,
-    "p90_ms": 44.8,
-    "min_ms": 41.6
+    "median_ms": 43.2,
+    "p90_ms": 44.3,
+    "min_ms": 41.2
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 137.2,
-    "p90_ms": 148.4,
-    "min_ms": 113.0
+    "median_ms": 111.2,
+    "p90_ms": 118.2,
+    "min_ms": 108.7
    }
   },
   "py": {
@@ -565,117 +565,117 @@
     "item": "massive_he_4-0075",
     "input_tokens": 38,
     "median_ms": 43.6,
-    "p90_ms": 46.9,
-    "min_ms": 41.8
+    "p90_ms": 44.7,
+    "min_ms": 42.4
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 192.0,
-    "p90_ms": 210.9,
-    "min_ms": 149.4
+    "median_ms": 139.3,
+    "p90_ms": 157.0,
+    "min_ms": 137.1
    }
   },
   "q8_cpu": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 186.0,
-    "p90_ms": 199.5,
-    "min_ms": 165.2
+    "median_ms": 159.5,
+    "p90_ms": 185.0,
+    "min_ms": 117.5
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 1270.3,
-    "p90_ms": 1352.6,
-    "min_ms": 1138.8
+    "median_ms": 1137.4,
+    "p90_ms": 1243.6,
+    "min_ms": 1072.4
    }
   },
   "py_cpu": {
    "short": {
     "item": "massive_he_4-0075",
     "input_tokens": 38,
-    "median_ms": 134.3,
-    "p90_ms": 147.2,
-    "min_ms": 126.7
+    "median_ms": 112.0,
+    "p90_ms": 131.3,
+    "min_ms": 97.1
    },
    "long": {
     "item": "heq_unanswerable-0522",
     "input_tokens": 430,
-    "median_ms": 1236.2,
-    "p90_ms": 1317.7,
-    "min_ms": 1186.6
+    "median_ms": 1021.8,
+    "p90_ms": 1100.7,
+    "min_ms": 918.8
    }
   }
  },
  "latency_machine": "Intel Core Ultra 9 285H laptop, built-in Arc 140T GPU, Windows 11",
  "gguf_parity_50": {
   "q8": {
-   "max_abs_diff": 0.0456,
-   "mean_abs_diff": 0.001536,
+   "max_abs_diff": 0.0375,
+   "mean_abs_diff": 0.001814,
    "argmax_agree": "50/50"
   },
   "f16": {
-   "max_abs_diff": 0.0031,
-   "mean_abs_diff": 0.00032,
+   "max_abs_diff": 0.0017,
+   "mean_abs_diff": 0.000288,
    "argmax_agree": "50/50"
   },
   "q8_cpu": {
-   "max_abs_diff": 0.0563,
-   "mean_abs_diff": 0.00241,
+   "max_abs_diff": 0.0549,
+   "mean_abs_diff": 0.003498,
    "argmax_agree": "50/50"
   },
   "f16_cpu": {
-   "max_abs_diff": 0.0015,
-   "mean_abs_diff": 0.000242,
+   "max_abs_diff": 0.0032,
+   "mean_abs_diff": 0.000278,
    "argmax_agree": "50/50"
   }
  },
  "gguf_parity_spam_596": {
   "q8": {
-   "max_abs_diff": 0.0189,
-   "mean_abs_diff": 0.001162,
-   "argmax_agree": "595/596",
-   "accuracy_vs_gold": 0.8356
+   "max_abs_diff": 0.0166,
+   "mean_abs_diff": 0.001297,
+   "argmax_agree": "596/596",
+   "accuracy_vs_gold": 0.8473
   },
   "f16": {
-   "max_abs_diff": 0.0023,
-   "mean_abs_diff": 0.000227,
+   "max_abs_diff": 0.0015,
+   "mean_abs_diff": 0.000203,
    "argmax_agree": "596/596",
-   "accuracy_vs_gold": 0.8372
+   "accuracy_vs_gold": 0.8473
   },
   "py": {
-   "max_abs_diff": 0.0001,
+   "max_abs_diff": 0.0,
    "mean_abs_diff": 0.0,
    "argmax_agree": "596/596",
-   "accuracy_vs_gold": 0.8372
+   "accuracy_vs_gold": 0.8473
   },
   "q8_cpu": {
-   "max_abs_diff": 0.0278,
-   "mean_abs_diff": 0.001854,
+   "max_abs_diff": 0.0207,
+   "mean_abs_diff": 0.001918,
    "argmax_agree": "595/596",
-   "accuracy_vs_gold": 0.8356
+   "accuracy_vs_gold": 0.8456
   },
   "f16_cpu": {
-   "max_abs_diff": 0.0017,
-   "mean_abs_diff": 0.000203,
+   "max_abs_diff": 0.0012,
+   "mean_abs_diff": 0.000185,
    "argmax_agree": "596/596",
-   "accuracy_vs_gold": 0.8372
+   "accuracy_vs_gold": 0.8473
   },
   "py_cpu": {
    "max_abs_diff": 0.0,
    "mean_abs_diff": 0.0,
    "argmax_agree": "596/596",
-   "accuracy_vs_gold": 0.8372
+   "accuracy_vs_gold": 0.8473
   }
  },
  "belebele_split": {
   "verbatim_n": 252,
   "reworded_n": 648,
   "nz": {
-   "verbatim": 0.7896825396825397,
-   "reworded": 0.5632716049382716
+   "verbatim": 0.7658730158730159,
+   "reworded": 0.5802469135802469
   },
   "roeig": {
    "verbatim": 0.8412698412698413,
@@ -688,74 +688,74 @@
  },
  "calibration_pooled": {
   "n": 3990,
-  "ece_15bin": 0.0274
+  "ece_15bin": 0.0309
  },
  "wording_robustness": {
-  "suite": "wording_he v1 (frozen): 1786 questions, each asked in 6 wordings with the same meaning",
+  "suite": "wording_he (frozen): 1786 questions, each asked in 6 wordings with the same meaning",
   "flip_rate": "share of questions whose top answer is not the same in all 6 wordings (lower is better)",
   "models": {
    "BrainboxAI/nitzotz": {
     "all_item_weighted": {
-     "flip_rate": 0.0442,
-     "flip_vs_orig": 0.0142,
-     "mean_acc": 0.9081,
-     "worst_acc": 0.8998,
-     "flip_rate_spam_type_without_form_swap": 0.0431
+     "flip_rate": 0.0504,
+     "flip_vs_orig": 0.018,
+     "mean_acc": 0.9118,
+     "worst_acc": 0.9048,
+     "flip_rate_spam_type_without_form_swap": 0.0481
     },
     "parts": {
      "heq_verify": {
       "n_items": 600,
-      "mean_acc": 0.945,
-      "worst_acc": 0.9417,
-      "flip_rate": 0.0233
+      "mean_acc": 0.9478,
+      "worst_acc": 0.945,
+      "flip_rate": 0.0283
      },
      "massive_he_4": {
       "n_items": 500,
-      "mean_acc": 0.967,
-      "worst_acc": 0.958,
-      "flip_rate": 0.034
+      "mean_acc": 0.97,
+      "worst_acc": 0.962,
+      "flip_rate": 0.036
      },
      "spam_business_he:category": {
       "n_items": 298,
-      "mean_acc": 0.7645,
-      "worst_acc": 0.7584,
-      "flip_rate": 0.0671
+      "mean_acc": 0.7752,
+      "worst_acc": 0.7685,
+      "flip_rate": 0.0805
      },
      "spam_business_he:category:hard": {
       "n_items": 65,
-      "mean_acc": 0.641,
-      "worst_acc": 0.6154,
+      "mean_acc": 0.6692,
+      "worst_acc": 0.6462,
       "flip_rate": 0.1077
      },
      "spam_business_he:scam": {
       "n_items": 298,
-      "mean_acc": 0.9144,
-      "worst_acc": 0.9094,
-      "flip_rate": 0.0235
+      "mean_acc": 0.915,
+      "worst_acc": 0.9128,
+      "flip_rate": 0.0201
      },
      "spam_business_he:scam:hard": {
       "n_items": 65,
-      "mean_acc": 0.8103,
+      "mean_acc": 0.8154,
       "worst_acc": 0.8,
-      "flip_rate": 0.0462
+      "flip_rate": 0.0615
      },
      "triage30:category": {
       "n_items": 30,
-      "mean_acc": 0.8723,
-      "worst_acc": 0.8667,
+      "mean_acc": 0.9166,
+      "worst_acc": 0.9,
       "flip_rate": 0.0333
      },
      "triage30:paying": {
       "n_items": 30,
-      "mean_acc": 0.7722,
+      "mean_acc": 0.7944,
       "worst_acc": 0.7333,
-      "flip_rate": 0.2333
+      "flip_rate": 0.1667
      },
      "triage30:urgency": {
       "n_items": 30,
-      "mean_acc": 0.7222,
+      "mean_acc": 0.6611,
       "worst_acc": 0.6,
-      "flip_rate": 0.4333
+      "flip_rate": 0.6333
      }
     },
     "single_answer_wordings": {}
@@ -764,51 +764,145 @@
  },
  "belebele_negation": {
   "n": 158,
-  "acc": 0.519
+  "acc": 0.5886
  },
  "seeds": {
-  "heldout_this": 0.958,
+  "heldout_this": 0.9505,
   "others": [
    {
     "name": "seed 2",
-    "heldout": 0.9492,
+    "heldout": 0.9519,
     "acc": {
-     "spam_scam": 0.9128,
-     "spam_scam_hard": 0.8154,
-     "spam_type": 0.7718,
-     "spam_type_hard": 0.6308,
-     "triage_type": 0.8667,
-     "triage_urgency": 0.6667,
-     "triage_paying": 0.7667,
-     "massive_20": 0.902,
-     "massive_4": 0.964,
-     "sib200": 0.8088,
+     "spam_scam": 0.9195,
+     "spam_scam_hard": 0.8308,
+     "spam_type": 0.802,
+     "spam_type_hard": 0.7077,
+     "triage_type": 0.9,
+     "triage_urgency": 0.7333,
+     "triage_paying": 0.8,
+     "massive_20": 0.894,
+     "massive_4": 0.96,
+     "sib200": 0.8284,
      "heq_verify": 0.9467,
-     "heq_unans": 0.8933,
-     "belebele": 0.6311
+     "heq_unans": 0.8983,
+     "belebele": 0.6089
     }
    },
    {
     "name": "seed 3",
-    "heldout": 0.953,
+    "heldout": 0.9521,
     "acc": {
-     "spam_scam": 0.9094,
-     "spam_scam_hard": 0.8308,
-     "spam_type": 0.7886,
-     "spam_type_hard": 0.6154,
-     "triage_type": 0.9333,
-     "triage_urgency": 0.6667,
-     "triage_paying": 0.8,
+     "spam_scam": 0.906,
+     "spam_scam_hard": 0.7846,
+     "spam_type": 0.7785,
+     "spam_type_hard": 0.6615,
+     "triage_type": 0.8333,
+     "triage_urgency": 0.7667,
+     "triage_paying": 0.8333,
      "massive_20": 0.902,
-     "massive_4": 0.966,
-     "sib200": 0.8235,
-     "heq_verify": 0.945,
-     "heq_unans": 0.9,
-     "belebele": 0.6344
+     "massive_4": 0.968,
+     "sib200": 0.8039,
+     "heq_verify": 0.95,
+     "heq_unans": 0.8983,
+     "belebele": 0.6311
     }
    }
   ],
-  "agreement_min": 0.9058,
-  "agreement_max": 0.9105
+  "agreement_min": 0.9008,
+  "agreement_max": 0.9063,
+  "picked_on": {
+   "this": {
+    "n": 188,
+    "acc": 0.984
+   },
+   "others": [
+    {
+     "n": 188,
+     "acc": 0.9734
+    },
+    {
+     "n": 188,
+     "acc": 0.9734
+    }
+   ]
+  }
+ },
+ "none_of_the_options": {
+  "suite": "notinlist_he (frozen): 400 MASSIVE and Belebele test questions with a 'none of the options' choice added; in half of them 'none' is right, in the other half the right answer is still in the list",
+  "model": "BrainboxAI/nitzotz",
+  "parts": {
+   "all": {
+    "n": 400,
+    "acc": 0.685,
+    "picks_none": 0.535
+   },
+   "belebele_he/control": {
+    "n": 100,
+    "acc": 0.45,
+    "picks_none": 0.43
+   },
+   "belebele_he/none": {
+    "n": 100,
+    "acc": 0.76,
+    "picks_none": 0.76
+   },
+   "control": {
+    "n": 200,
+    "acc": 0.61,
+    "picks_none": 0.31
+   },
+   "massive_he_20/control": {
+    "n": 100,
+    "acc": 0.77,
+    "picks_none": 0.19
+   },
+   "massive_he_20/none": {
+    "n": 100,
+    "acc": 0.76,
+    "picks_none": 0.76
+   },
+   "none": {
+    "n": 200,
+    "acc": 0.76,
+    "picks_none": 0.76
+   }
+  },
+  "text_removed": {
+   "all": {
+    "n": 400,
+    "acc": 0.49,
+    "picks_none": 0.9825
+   },
+   "belebele_he/control": {
+    "n": 100,
+    "acc": 0.01,
+    "picks_none": 0.99
+   },
+   "belebele_he/none": {
+    "n": 100,
+    "acc": 0.95,
+    "picks_none": 0.95
+   },
+   "control": {
+    "n": 200,
+    "acc": 0.005,
+    "picks_none": 0.99
+   },
+   "massive_he_20/control": {
+    "n": 100,
+    "acc": 0.0,
+    "picks_none": 0.99
+   },
+   "massive_he_20/none": {
+    "n": 100,
+    "acc": 1.0,
+    "picks_none": 1.0
+   },
+   "none": {
+    "n": 200,
+    "acc": 0.975,
+    "picks_none": 0.975
+   }
+  }
  }
 }

ggmlc/nitzotz_trunk.py

@@ -1,7 +1,7 @@
 """Exportable Nitzotz trunk for ggmlc: HalleluBERT (RoBERTa) encoder + the laya DecisionModel head.
 
 Adapted from ggmlc examples/laya/laya_trunk.py (Apache-2.0, monatis/ggmlc v0.9.5), which does the same for the
-ModernBERT laya checkpoints. What changed: the encoder is a post-LN RoBERTa (learned absolute positions, one token
+ModernBERT laya checkpoints. The difference: the encoder is a post-LN RoBERTa (learned absolute positions, one token
 type, q/k/v with bias, exact GELU), and the option axis has MAX_OPTS = 20 slots because MASSIVE-20 asks 20 options.
 The head, the marker gather, the scorer and the act head are the laya ones, unchanged.
 

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0abc05a7e052aca7960bfe31962d64d399e233558373de321f34aeceb9b5b530
+oid sha256:4bcd5c6ca58d4c57c3a2421f20fdece0144a0fa98cce05d97594aca6632805df
 size 767366700

nitzotz-f16.gguf

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b06086caefbf8b626dbadcfb02fe6a6b43047e4624296f74bc5228c50c964313
+oid sha256:05154d4577843f514a15a8ed857e9f14098d506f66340b0ddefa999d83eaf0e1
 size 770204096

nitzotz-q8_0.gguf

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ea5f6fbff83711dc3f8dfa2c26919898cbfc109a4710de6ec46ffe792ab3cf30
+oid sha256:27b65ac93d8fd360105eb521d65863da878a3f1cf6611e2dcf8d15cc5ece981e
 size 412580576

rl_agent_config.json

@@ -9,72 +9,76 @@
   "amp_dtype": "bf16",
   "model_name": "nitzotz",
   "temperature": [
-    1.1031566858291626,
-    1.110580563545227,
-    1.195957064628601
+    1.0970542430877686,
+    1.1389989852905273,
+    1.1619657278060913
   ],
   "training": {
     "encoder_init": "HalleluBERT-large after extractive QA on HeQ v1.1 train (test-overlapping passages removed)",
-    "data": "106,723 items: synthetic Hebrew messages, HeQ v1.1 train, MASSIVE he-IL train, reading and topic items on FineWeb-2 Hebrew passages, reworded copies (see README)",
-    "items_total": 106723,
-    "train_items": 102173,
-    "calib_items": 4550,
+    "data": "116,854 items: synthetic Hebrew messages, HeQ v1.1 train, MASSIVE he-IL train, reading and topic items on FineWeb-2 Hebrew passages, warnings about scams, short scams and look-alike messages, 'none of the options' items, reworded copies (see README)",
+    "items_total": 116854,
+    "train_items": 112029,
+    "calib_items": 4825,
     "epochs_planned": 2,
     "epochs_run": 2,
     "kept_epoch": 2,
     "heldout_by_epoch": [
       {
-        "acc": 0.9424,
-        "soft_nll": 0.4824,
-        "acc_base_families": 0.9407,
+        "acc": 0.9389,
+        "soft_nll": 0.4909,
+        "acc_base_families": 0.9359,
         "by_family": {
-          "aug_heq": 0.9344,
-          "aug_massive": 0.9286,
-          "aug_scam": 0.9677,
-          "aug_type": 0.9482,
-          "aug_urgency": 0.814,
-          "claim": 0.968,
-          "heq_read": 0.972,
-          "heq_unans": 0.9,
-          "heq_verify": 0.9533,
-          "massive_intent": 0.9229,
-          "rel_scam": 0.9833,
-          "rel_type": 0.9254,
-          "routing": 0.9338,
-          "spam_type": 0.9471,
-          "urgency": 0.8914
+          "aug_heq": 0.9399,
+          "aug_massive": 0.9464,
+          "aug_scam": 0.9624,
+          "aug_type": 0.9299,
+          "aug_urgency": 0.8488,
+          "claim": 0.9498,
+          "heq_read": 0.964,
+          "heq_unans": 0.892,
+          "heq_verify": 0.9733,
+          "massive_intent": 0.9286,
+          "rel6_scam": 0.9574,
+          "rel6_type": 0.931,
+          "rel_scam": 0.9767,
+          "rel_type": 0.9216,
+          "routing": 0.9224,
+          "spam_type": 0.9329,
+          "urgency": 0.92
         },
         "epoch": 1,
-        "step": 3193,
-        "train_seconds": 1619.1
+        "step": 3501,
+        "train_seconds": 1746.6
       },
       {
-        "acc": 0.958,
-        "soft_nll": 0.4701,
-        "acc_base_families": 0.9545,
+        "acc": 0.9505,
+        "soft_nll": 0.4741,
+        "acc_base_families": 0.9452,
         "by_family": {
-          "aug_heq": 0.9672,
-          "aug_massive": 0.9643,
+          "aug_heq": 0.9563,
+          "aug_massive": 0.9375,
           "aug_scam": 0.9731,
-          "aug_type": 0.9512,
-          "aug_urgency": 0.9186,
+          "aug_type": 0.9482,
+          "aug_urgency": 0.8721,
           "claim": 0.9658,
           "heq_read": 0.976,
-          "heq_unans": 0.936,
-          "heq_verify": 0.9567,
-          "massive_intent": 0.9429,
-          "rel_scam": 0.9867,
-          "rel_type": 0.9552,
-          "routing": 0.9543,
-          "spam_type": 0.9586,
-          "urgency": 0.9257
+          "heq_unans": 0.896,
+          "heq_verify": 0.98,
+          "massive_intent": 0.9314,
+          "rel6_scam": 0.9787,
+          "rel6_type": 0.9425,
+          "rel_scam": 0.9833,
+          "rel_type": 0.9515,
+          "routing": 0.9361,
+          "spam_type": 0.9486,
+          "urgency": 0.8971
         },
         "epoch": 2,
-        "step": 6386,
-        "train_seconds": 1630.1
+        "step": 7002,
+        "train_seconds": 1757.1
       }
     ],
-    "steps": 6386,
+    "steps": 7002,
     "batch": 32,
     "micro_batch": 16,
     "lr_encoder": 1e-05,
@@ -86,7 +90,7 @@
     "loss": "soft cross-entropy",
     "amp": "bf16",
     "device": "cuda",
-    "train_seconds": 3265.6,
+    "train_seconds": 3520.6,
     "head_init": "fresh (no laya checkpoint weights)",
     "class_weights": "none",
     "option_shuffle_families": [