Voeg custom modeling-bestand toe (null-answer fix)

modeling_nbclas_qa.py

@@ -0,0 +1,79 @@
+"""Custom modeling-bestand voor NoaberAI/nbclas-mdeberta-qa.
+
+Wordt automatisch gebruikt als iemand het model ophaalt met:
+
+    from transformers import AutoModel
+    model = AutoModel.from_pretrained("NoaberAI/nbclas-mdeberta-qa", trust_remote_code=True)
+    tokenizer = AutoTokenizer.from_pretrained("NoaberAI/nbclas-mdeberta-qa")
+    result = model.extract(tokenizer, "De put is verstopt.", "Wat is er kapot?")
+    # -> {"value": "put", "confidence": 0.91}  of  {"value": None, "confidence": ...}
+    # als er geen antwoord in de tekst staat.
+
+Dit bakt de "geen antwoord"-kalibratie (NULL_BIAS) in het model zelf, zodat
+gebruikers die dit model zonder de NBClas-GitHub-repo gebruiken niet dezelfde
+bug tegenkomen die wij vonden: de standaard argmax-aanpak van een QA-model
+geeft altijd een antwoord terug, ook als er geen antwoord in de tekst staat.
+Zie https://github.com/Noaber-AI/NBClas voor de volledige uitleg en de
+trainingspipeline.
+"""
+
+import torch
+from transformers import DebertaV2ForQuestionAnswering, PretrainedConfig
+
+# Bepaald met scripts/calibrate_extraction.py (CPU-only, geen training) op
+# de validation-set van dit checkpoint (n=500, combinatie-accuracy 0.692).
+# Opnieuw draaien na een volgende hertraining van dit model — deze waarde
+# hoort bij dit specifieke checkpoint, niet bij de architectuur.
+NULL_BIAS = 4.75
+MAX_ANSWER_LENGTH = 30
+
+
+class NBClasQAModel(DebertaV2ForQuestionAnswering):
+    """Zelfde architectuur als het onderliggende DebertaV2ForQuestionAnswering
+    (dus normale .forward() blijft gewoon werken), met een extra .extract()
+    gemakslaagje dat de gekalibreerde null-answer-logica toepast."""
+
+    def __init__(self, config: PretrainedConfig):
+        super().__init__(config)
+        self.null_bias = getattr(config, "null_bias", NULL_BIAS)
+        self.max_answer_length = getattr(config, "max_answer_length", MAX_ANSWER_LENGTH)
+
+    @torch.no_grad()
+    def extract(self, tokenizer, context: str, question: str) -> dict:
+        inputs = tokenizer(
+            question, context, return_tensors="pt", truncation="only_second"
+        ).to(self.device)
+
+        outputs = self(**inputs)
+        start_logits = outputs.start_logits[0]
+        end_logits = outputs.end_logits[0]
+
+        sequence_ids = inputs.sequence_ids(0)
+        context_positions = [i for i, sid in enumerate(sequence_ids) if sid == 1]
+        if not context_positions:
+            return {"value": None, "confidence": 1.0}
+        context_start, context_end = context_positions[0], context_positions[-1]
+
+        null_score = float(start_logits[0] + end_logits[0])
+
+        start_vals = start_logits.tolist()
+        end_vals = end_logits.tolist()
+        best_score = float("-inf")
+        best_start, best_end = context_start, context_start
+        for s in range(context_start, context_end + 1):
+            for e in range(s, min(s + self.max_answer_length, context_end + 1)):
+                score = start_vals[s] + end_vals[e]
+                if score > best_score:
+                    best_score = score
+                    best_start, best_end = s, e
+
+        if null_score + self.null_bias >= best_score:
+            confidence = float(torch.sigmoid(torch.tensor(null_score + self.null_bias - best_score)))
+            return {"value": None, "confidence": confidence}
+
+        input_ids = inputs["input_ids"][0]
+        value = tokenizer.decode(
+            input_ids[best_start : best_end + 1], skip_special_tokens=True
+        ).strip()
+        confidence = float(torch.sigmoid(torch.tensor(best_score - null_score - self.null_bias)))
+        return {"value": value, "confidence": confidence}