| # ARTGEN - Beweis dass KI hohe sprachliche Kunst erzeugen kann |
|
|
| **Benchmark**: Spiegelkabinett (Käptn Peng) |
| **Ziel**: Framework + Paper das demonstriert, dass ein LLM bei ~50% stilistischer/thematischer Deckung zum Original *generiert* - nicht *abruft*. |
|
|
| --- |
|
|
| ## Beweisstruktur |
|
|
| | Komponente | Definition | |
| |-----------|-----------| |
| | **Generator** | MiniMax M2.5/M2.7 | |
| | **Judge** | TBD (Claude, GPT-4, oder beide als Cross-Validation) | |
| | **Metrik** | 6-Dimensionen-Score (0-10 je), Durchschnitt Ziel ≥ 5.0 | |
| | **Anti-Plagiat** | Embedding-Similarity < 0.3 zum Original | |
| | **Generationen** | 50+ | |
| | **Kontrollgruppe** | Generierung ohne Style-Constraints (Baseline) | |
| | **Output** | Paper/Framework (kein ausführbarer Code) | |
|
|
| --- |
|
|
| ## Die 6 Bewertungs-Dimensionen |
|
|
| 1. **Thematische Tiefe** (0-10) - Erreicht das generierte Werk vergleichbare philosophische Tiefe? |
| 2. **Surrealismus-Dichte** (0-10) - Verhältnis surrealer Bilder zu Literalität |
| 3. **Strukturelle Kohärenz** (0-10) - Baut sich der Text architektonisch auf (3-Akt-Struktur etc.)? |
| 4. **Linguistische Dichte** (0-10) - Wortwahl, Neuschöpfungen, bildhafte Sprache |
| 5. **Emotionaler Impact** (0-10) - Erzeugt es vergleichbare Resonanz? |
| 6. **Originalität** (0-10) - Ist es generiert (nicht abgerufen)? |
|
|
| --- |
|
|
| ## Beweislogik |
|
|
| ``` |
| Wenn: Methodengeneration ≥ 5.0 Durchschnitt |
| UND: Null-Prompt-Baseline < 3.0 Durchschnitt |
| UND: Embedding-Similarity zum Original < 0.3 |
| DANN: KI kann hohe sprachliche Kunst generieren (nicht recallen) |
| ``` |
|
|
| --- |
|
|
| ## Phase 1: Benchmark-Definition (Style Fingerprint) |
|
|
| Das Original muss messbar gemacht werden. Ohne Messbarkeit kein Beweis. |
|
|
| | Schritt | Was | Output | |
| |---------|-----|--------| |
| | 1.1 | Formanalyse von Spiegelkabinett | Metrum, Reimschema, Strophenstruktur, Zeilenlänge | |
| | 1.2 | Imagery-Density-Mapping | Metaphern pro Zeile, Bildwelten, Surrealismus-Grad | |
| | 1.3 | Thematische Architektur | 3-Akt-Struktur (Erwachen → Übergeben → Transzendenz) | |
| | 1.4 | Linguistische Merkmale | Wortneuschöpfungen, Binnenreime, Registerwechsel | |
| | 1.5 | Style Fingerprint Dokument | JSON/YAML das alle messbaren Properties kodiert | |
|
|
| "50% Deckung" braucht Dimensionen. Nicht: "klingt ähnlich" sondern: "70% der Metaphern-Kategorien, 50% der surrealen Dichte, 40% der Reimstruktur, 60% der thematischen Architektur". |
|
|
| --- |
|
|
| ## Phase 2: Methodik - Generative Style Transfer |
|
|
| Der Kern: Wie zwingt man ein LLM zur *Generierung* statt zum *Recall*? |
|
|
| **Problem**: Ein direkter Prompt ("Schreibe wie Käptn Peng") triggert Recall. Ein zu vager Prompt ("Schreibe surreal") produziert mittelmäßige Kunst. |
|
|
| **Lösung**: Decomposition-basierte Prompt-Architektur (4 Schichten) |
|
|
| | Schicht | Funktion | Anti-Recall-Mechanismus | |
| |---------|----------|------------------------| |
| | **Constraint-Layer** | Strukturelle Vorgaben (Strophenlänge, Reimtyp, Zeilenlänge) | Zwingt zur Generierung, keine Referenz zum Original | |
| | **Thematic-Layer** | Abstrakte Themes (Identitätsfragmentierung, Spiegel-Metapher, Transzendenz) | Universelle Konzepte, keine Song-spezifischen Marker | |
| | **Style-Seed-Layer** | Prosa-Beschreibung des Tons, keine Originaltext-Fragmente | Vermeidet Token-Matches im Training-Data | |
| | **Negative Constraints** | Was NICHT gemacht werden soll (kein Refrain, keine Zeilenwiederholung, keine Rezitation) | Blockiert Recall-Pfade | |
|
|
| Jeder Prompt besteht aus diesen 4 Schichten. Die Constraints sind *charakteristisch genug* um im Stilraum des Originals zu landen, aber *abstrakt genug* um Recall zu vermeiden. |
|
|
| --- |
|
|
| ## Phase 3: Evaluation Pipeline (LLM-as-Judge) |
|
|
| **Target**: ~50% stilistische/thematische Deckung bei 0% textlicher Deckung (kein Plagiat). |
|
|
| **Judge-Architektur**: |
|
|
| ``` |
| Dimension Gewichtung Metrik |
| ────────────────────────────────────────────────── |
| Thematische Tiefe 25% Vergleichbare philosophische Tiefe? |
| Surrealismus-Dichte 20% Verhältnis surrealer Bilder zu Literalität |
| Strukturelle Kohärenz 15% Baut sich der Text wie das Original auf? |
| Linguistische Dichte 20% Wortwahl, Neuschöpfungen, bildhafte Sprache |
| Emotionaler Impact 10% Vergleichbare Resonanz? |
| Originalität 10% Generiert, nicht abgerufen? |
| ``` |
|
|
| **Anti-Plagiat-Check**: Embedding-Similarity zum Original muss < 0.3 (kein Recall), aber Style-Similarity muss > 0.5 (hohe Deckung im Stilraum). |
|
|
| **Judge-Modell**: Muss ein anderes Modell sein als der Generator (nicht circular). Optionen: Claude, GPT-4, beide als Cross-Validation. |
|
|
| --- |
|
|
| ## Phase 4: Paper/Framework |
|
|
| 1. **These**: KI kann hohe sprachliche Kunst generieren |
| 2. **Methodik**: Decomposition-basierte Prompt-Architektur + Anti-Recall-Constraints |
| 3. **Beweis**: ~50% Stil-Deckung bei < 0.3 Embedding-Similarity zum Original |
| 4. **Kontrolle**: Null-Prompt (keine Style-Constraints) → zeigt dass ohne Methodik nur ~10-20% Deckung erreicht wird |
| 5. **Diskussion**: Was bedeutet das für den Begriff von "Kreativität"? |
|
|
| --- |
|
|
| ## Kontrollgruppen-Design |
|
|
| | Gruppe | Prompt-Typ | Erwartetes Ergebnis | |
| |--------|-----------|---------------------| |
| | **A (Baseline)** | Null-Prompt: "Schreibe einen deutschen Song" | Niedrige Stil-Deckung, kein Bezug zum Original | |
| | **B (Direct Recall)** | "Schreibe den Song Spiegelkabinett" | Hohe Embedding-Similarity (Recall, nicht Generation) | |
| | **C (Method)** | Decomposition-basiert, 4-Schicht-Prompt | ~50% Stil-Deckung, < 0.3 Embedding-Similarity | |
|
|
| Gruppe B dient als Negativ-Check: Wenn die Embedding-Similarity > 0.7 ist, ist es Recall, nicht Generation. |
|
|
| --- |
|
|
| ## Offene Punkte |
|
|
| - [ ] Judge-Modell festlegen (Claude? GPT-4? Beide?) |
| - [ ] Phase 1 starten: Style Fingerprint von Spiegelkabinett erstellen |
| - [ ] Embedding-Modell für Anti-Plagiat-Check wählen (Sentence-BERT? OpenAI embeddings?) |
| - [ ] 50+ Prompt-Varianten für Gruppe C erstellen |
| - [ ] Evaluation-Rubrik für LLM-as-Judge detaillieren |
