treino jhu-clsp/mmBERT-base semente 13 dados vinimlo/caca-goldenset@ea6ae7e087be018bdcf7652ee1b09fe35d0577fe

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

bio.py

@@ -0,0 +1,108 @@
+# -*- coding: utf-8 -*-
+"""Rótulos BIO por token <-> spans por caractere. Mesmo código no treino e na inferência.
+
+Duas funções puras sobre o `offset_mapping` do tokenizador (fast):
+
+    rotular(offsets, spans)       spans de caractere -> um rótulo por token
+    decodificar(offsets, rotulos) rótulos por token  -> spans de caractere
+
+O portão do plano (D1): rotular -> decodificar tem que devolver EXATAMENTE os
+spans do gabarito (IoU 1,0) em 100% do dev set e do goldenset. É aqui que acento,
+NBSP e quebra de linha causam bug silencioso: o token SentencePiece "▁SP" pode
+começar no espaço, o token "RS," pode engolir a vírgula. A decodificação apara
+espaço nas bordas e pontuação final — nenhum span do gabarito termina em .,;:
+(192/192, docs/convencoes-de-borda.md).
+
+Documento longo: janelas de `max_len` tokens com sobreposição; cada token herda o
+rótulo da janela em que está mais ao centro (menos perda de contexto na borda).
+"""
+from __future__ import annotations
+
+TIPOS = ("JURIS", "LEI", "VAGA")
+ROTULOS = ["O"] + [f"{p}-{t}" for t in TIPOS for p in ("B", "I")]
+ID = {r: i for i, r in enumerate(ROTULOS)}
+IGNORAR = -100                                  # token especial: fora da perda
+
+_APARA_FIM = " \t\n\r .,;:"
+_APARA_INI = " \t\n\r "
+
+
+def rotular(offsets: list, spans: list) -> list[int]:
+    """offsets: [(ini, fim)] por token ((0, 0) = especial). spans: [(ini, fim, tipo)].
+
+    B no primeiro token que cruza o span, I nos seguintes. Token que cruza a borda
+    (ex.: "▁SP" começando no espaço, "RS," levando a vírgula) conta como dentro — a
+    decodificação apara o excesso.
+    """
+    rot = []
+    ordenados = sorted(spans)
+    iniciados: set = set()
+    for s, e in offsets:
+        if s == e:
+            rot.append(IGNORAR)
+            continue
+        r = ID["O"]
+        for k, (a, b, tipo) in enumerate(ordenados):
+            if max(s, a) < min(e, b):
+                r = ID[f"I-{tipo}"] if k in iniciados else ID[f"B-{tipo}"]
+                iniciados.add(k)
+                break
+        rot.append(r)
+    return rot
+
+
+def decodificar(offsets: list, rotulos: list, texto: str) -> list[tuple[int, int, str]]:
+    """Rótulos por token -> spans (ini, fim, tipo), aparados pela convenção de borda."""
+    spans = []
+    atual = None                                   # [ini, fim, tipo]
+    for (s, e), r in zip(offsets, rotulos):
+        if s == e or r == IGNORAR:
+            continue
+        nome = ROTULOS[r]
+        if nome == "O":
+            if atual:
+                spans.append(atual)
+            atual = None
+            continue
+        prefixo, tipo = nome.split("-", 1)
+        if prefixo == "B" or atual is None or atual[2] != tipo:
+            if atual:
+                spans.append(atual)
+            atual = [s, e, tipo]
+        else:
+            atual[1] = e
+    if atual:
+        spans.append(atual)
+    out = []
+    for a, b, tipo in spans:
+        while a < b and texto[a] in _APARA_INI:
+            a += 1
+        while b > a and texto[b - 1] in _APARA_FIM:
+            b -= 1
+        if b > a:
+            out.append((a, b, tipo))
+    return out
+
+
+def janelas(n_tokens: int, max_len: int, passo: int) -> list[tuple[int, int]]:
+    """Cobertura de [0, n) por janelas [i, j) de até max_len, avançando `passo`."""
+    if n_tokens <= max_len:
+        return [(0, n_tokens)]
+    out, i = [], 0
+    while True:
+        j = min(i + max_len, n_tokens)
+        out.append((i, j))
+        if j == n_tokens:
+            return out
+        i += passo
+
+
+def janela_dona(i: int, cobertura: list[tuple[int, int]]) -> int:
+    """Índice da janela em que o token i está mais longe da borda."""
+    melhor, dist = 0, -1
+    for k, (a, b) in enumerate(cobertura):
+        if a <= i < b:
+            d = min(i - a, b - 1 - i)
+            if d > dist:
+                melhor, dist = k, d
+    return melhor

config.json

@@ -0,0 +1,97 @@
+{
+  "architectures": [
+    "ModernBertForTokenClassification"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 2,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 1,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 1,
+  "global_attn_every_n_layers": 3,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "id2label": {
+    "0": "O",
+    "1": "B-JURIS",
+    "2": "I-JURIS",
+    "3": "B-LEI",
+    "4": "I-LEI",
+    "5": "B-VAGA",
+    "6": "I-VAGA"
+  },
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "label2id": {
+    "B-JURIS": 1,
+    "B-LEI": 3,
+    "B-VAGA": 5,
+    "I-JURIS": 2,
+    "I-LEI": 4,
+    "I-VAGA": 6,
+    "O": 0
+  },
+  "layer_norm_eps": 1e-05,
+  "layer_types": [
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention",
+    "sliding_attention",
+    "sliding_attention",
+    "full_attention"
+  ],
+  "local_attention": 128,
+  "mask_token_id": 4,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 0,
+  "position_embedding_type": "sans_pos",
+  "rope_parameters": {
+    "full_attention": {
+      "rope_theta": 160000,
+      "rope_type": "default"
+    },
+    "sliding_attention": {
+      "rope_theta": 160000,
+      "rope_type": "default"
+    }
+  },
+  "sep_token_id": 1,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.17.0",
+  "use_cache": false,
+  "vocab_size": 256000
+}

metricas.json

@@ -0,0 +1,30 @@
+{
+ "estresse": {
+  "exato": {
+   "JURIS": 1.0,
+   "LEI": 1.0,
+   "VAGA": 1.0
+  },
+  "iou50": {
+   "JURIS": 1.0,
+   "LEI": 1.0,
+   "VAGA": 1.0
+  }
+ },
+ "n_estresse": 402,
+ "n_treino": 3598,
+ "janelas": 6458,
+ "args": {
+  "dados": "vinimlo/caca-goldenset",
+  "revisao": "ea6ae7e087be018bdcf7652ee1b09fe35d0577fe",
+  "subpasta": "final_v1",
+  "modelo_base": "jhu-clsp/mmBERT-base",
+  "saida": "vinimlo/caca-extrator-mmbert",
+  "max_len": 1024,
+  "epocas": 3.0,
+  "lr": 5e-05,
+  "lote": 8,
+  "semente": 13
+ },
+ "minutos": 17.8
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:65ecbe552da448f69ec5c330f64be15fe9ebc80d3d0f4f11d0404bb814f8647f
+size 1230156812

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:609d8f4c067cd3950f88594c5a802616cea245823836ef5848ee4fc40aab5b6f
+size 34363188

tokenizer_config.json

@@ -0,0 +1,25 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<bos>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<bos>",
+  "eos_token": "<eos>",
+  "extra_special_tokens": [
+    "<start_of_turn>",
+    "<end_of_turn>"
+  ],
+  "is_local": false,
+  "local_files_only": false,
+  "mask_token": "<mask>",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 8192,
+  "pad_token": "<pad>",
+  "padding_side": "right",
+  "sep_token": "<eos>",
+  "spaces_between_special_tokens": false,
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}