Upload folder using huggingface_hub

README.md

@@ -1,21 +1,66 @@
 ---
-license: apache-2.0
 language:
   - nl
   - en
+license: apache-2.0
 datasets:
   - ToetsChecker-Research/beleg
+library_name: transformers
+pipeline_tag: text-generation
 tags:
+  - nederlands
+  - dutch
   - pretrained
-  - pytorch
 ---
 
-# Boterham
+# boterham-0.5B
+
+Een Nederlandstalig taalmodel, getraind op uitsluitend rechtmatig
+verkregen materiaal: publiek domein en permissief gelicentieerde
+bronnen. Geen geschraapt web, geen destillatie uit een ander model.
+
+De dataset waarop het draait staat los gepubliceerd als
+[`ToetsChecker-Research/beleg`](https://huggingface.co/datasets/ToetsChecker-Research/beleg),
+met per document de herkomst, de licentie en de ophaaldatum. Dat
+corpus is het eigenlijke product; een model veroudert binnen een jaar
+en een goed gedocumenteerde dataset niet.
+
+## Wat het is
+
+| | |
+|---|---|
+| parameters | 488,3M (447,4M zonder embeddings) |
+| architectuur | decoder-only, GQA, RoPE, SwiGLU, RMSNorm, QK-norm |
+| contextlengte | 2048 tokens |
+| vocabulaire | 32,002 BPE, byte-level |
+| val-loss na finetuning | 0.8348 |
+
+## Hoe het getraind is
+
+Daarna gefinetuned op instructiedata die uit datzelfde corpus is afgeleid, 2.0 epochs, met het verlies alleen op het antwoord.
+
+Alle taken in de instructiedata zijn afgeleid uit echte documenten en
+achteraf gecontroleerd: een extractief antwoord moet letterlijk in de
+context staan, een onthoudingsvoorbeeld moet aantoonbaar niet in de
+context staan, en een samenvatting moet korter zijn dan de bron. Wat
+niet te controleren viel is niet meegegaan.
+
+## Wat het niet kan
 
-Dit is het ruwe pretrain-checkpoint van Boterham 0.5B, getraind op 8,004 miljard tokens uit [ToetsChecker-Research/beleg](https://huggingface.co/datasets/ToetsChecker-Research/beleg).
+Dit is een model van een halve miljard parameters, getraind op een
+budget in miljarden tokens waar vergelijkbare modellen er biljoenen
+zien. Verwacht geen brede wereldkennis en geen betrouwbare feiten over
+personen, datums of getallen zonder context erbij. Het is gebouwd om
+te werken met een document in de prompt, niet om uit het hoofd te
+antwoorden.
 
-De run eindigde na 15.266 stappen met een beste validatieloss van 1,8345 (perplexiteit 6,3).
+Losse conversatie en creatief schrijven zitten nauwelijks in de
+trainingsdata, want daar bestaat geen rechtmatige Nederlandstalige
+bron van omvang voor. Dat is een bewuste keuze en geen omissie.
 
-## Status
+## Licentie en herkomst
 
-Dit model is nog niet instructie-gefinetuned en nog niet naar Transformers-formaat geexporteerd. De bestanden in `boterham-0.5B/` zijn volledige PyTorch-trainingscheckpoints waarmee de finetuning later kan worden hervat.
+Het model staat onder Apache 2.0. De onderliggende teksten zijn
+publiek domein (artikel 11 Auteurswet voor overheidspublicaties en
+rechtspraak) of permissief gelicentieerd (CC BY, CC BY-SA, CC0).
+Per document staat de herkomst in de datasheet bij de dataset.

config.json

@@ -0,0 +1,30 @@
+{
+  "architectures": [
+    "Qwen3ForCausalLM"
+  ],
+  "model_type": "qwen3",
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "eos_token_id": 18,
+  "pad_token_id": 0,
+  "head_dim": 64,
+  "hidden_act": "silu",
+  "hidden_size": 1280,
+  "initializer_range": 0.02,
+  "intermediate_size": 3456,
+  "max_position_embeddings": 2048,
+  "max_window_layers": 26,
+  "num_attention_heads": 20,
+  "num_hidden_layers": 26,
+  "num_key_value_heads": 4,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": null,
+  "rope_theta": 100000.0,
+  "sliding_window": null,
+  "use_sliding_window": false,
+  "tie_word_embeddings": true,
+  "torch_dtype": "float32",
+  "use_cache": true,
+  "vocab_size": 32002
+}

generation_config.json

@@ -0,0 +1,7 @@
+{
+  "bos_token_id": 1,
+  "eos_token_id": 18,
+  "pad_token_id": 0,
+  "do_sample": false,
+  "max_new_tokens": 256
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cd2788645b99179851014b0f0ec53f9d6ce76531086d8a46875932f6b7ec4064
+size 1953300248

special_tokens_map.json

@@ -0,0 +1,6 @@
+{
+  "bos_token": "<s>",
+  "eos_token": "<|einde|>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,18 @@
+{
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "model_max_length": 2048,
+  "bos_token": "<s>",
+  "eos_token": "<|einde|>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>",
+  "clean_up_tokenization_spaces": false,
+  "additional_special_tokens": [
+    "<|gebruiker|>",
+    "<|boterham|>",
+    "<|systeem|>",
+    "<|einde|>",
+    "<|denken|>",
+    "<|einde_denken|>"
+  ],
+  "chat_template": "{% for bericht in messages %}{% if bericht['role'] == 'system' %}<|systeem|>{{ '\\n' + bericht['content'] + '\\n' }}{% elif bericht['role'] == 'user' %}<|gebruiker|>{{ '\\n' + bericht['content'] + '\\n' }}{% else %}<|boterham|>{{ '\\n' + bericht['content'] }}<|einde|>{% endif %}{% endfor %}{% if add_generation_prompt %}<|boterham|>{{ '\\n' }}{% endif %}"
+}