File size: 5,996 Bytes
3499206 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 | # ARTGEN - Beweis dass KI hohe sprachliche Kunst erzeugen kann
**Benchmark**: Spiegelkabinett (Käptn Peng)
**Ziel**: Framework + Paper das demonstriert, dass ein LLM bei ~50% stilistischer/thematischer Deckung zum Original *generiert* - nicht *abruft*.
---
## Beweisstruktur
| Komponente | Definition |
|-----------|-----------|
| **Generator** | MiniMax M2.5/M2.7 |
| **Judge** | TBD (Claude, GPT-4, oder beide als Cross-Validation) |
| **Metrik** | 6-Dimensionen-Score (0-10 je), Durchschnitt Ziel ≥ 5.0 |
| **Anti-Plagiat** | Embedding-Similarity < 0.3 zum Original |
| **Generationen** | 50+ |
| **Kontrollgruppe** | Generierung ohne Style-Constraints (Baseline) |
| **Output** | Paper/Framework (kein ausführbarer Code) |
---
## Die 6 Bewertungs-Dimensionen
1. **Thematische Tiefe** (0-10) - Erreicht das generierte Werk vergleichbare philosophische Tiefe?
2. **Surrealismus-Dichte** (0-10) - Verhältnis surrealer Bilder zu Literalität
3. **Strukturelle Kohärenz** (0-10) - Baut sich der Text architektonisch auf (3-Akt-Struktur etc.)?
4. **Linguistische Dichte** (0-10) - Wortwahl, Neuschöpfungen, bildhafte Sprache
5. **Emotionaler Impact** (0-10) - Erzeugt es vergleichbare Resonanz?
6. **Originalität** (0-10) - Ist es generiert (nicht abgerufen)?
---
## Beweislogik
```
Wenn: Methodengeneration ≥ 5.0 Durchschnitt
UND: Null-Prompt-Baseline < 3.0 Durchschnitt
UND: Embedding-Similarity zum Original < 0.3
DANN: KI kann hohe sprachliche Kunst generieren (nicht recallen)
```
---
## Phase 1: Benchmark-Definition (Style Fingerprint)
Das Original muss messbar gemacht werden. Ohne Messbarkeit kein Beweis.
| Schritt | Was | Output |
|---------|-----|--------|
| 1.1 | Formanalyse von Spiegelkabinett | Metrum, Reimschema, Strophenstruktur, Zeilenlänge |
| 1.2 | Imagery-Density-Mapping | Metaphern pro Zeile, Bildwelten, Surrealismus-Grad |
| 1.3 | Thematische Architektur | 3-Akt-Struktur (Erwachen → Übergeben → Transzendenz) |
| 1.4 | Linguistische Merkmale | Wortneuschöpfungen, Binnenreime, Registerwechsel |
| 1.5 | Style Fingerprint Dokument | JSON/YAML das alle messbaren Properties kodiert |
"50% Deckung" braucht Dimensionen. Nicht: "klingt ähnlich" sondern: "70% der Metaphern-Kategorien, 50% der surrealen Dichte, 40% der Reimstruktur, 60% der thematischen Architektur".
---
## Phase 2: Methodik - Generative Style Transfer
Der Kern: Wie zwingt man ein LLM zur *Generierung* statt zum *Recall*?
**Problem**: Ein direkter Prompt ("Schreibe wie Käptn Peng") triggert Recall. Ein zu vager Prompt ("Schreibe surreal") produziert mittelmäßige Kunst.
**Lösung**: Decomposition-basierte Prompt-Architektur (4 Schichten)
| Schicht | Funktion | Anti-Recall-Mechanismus |
|---------|----------|------------------------|
| **Constraint-Layer** | Strukturelle Vorgaben (Strophenlänge, Reimtyp, Zeilenlänge) | Zwingt zur Generierung, keine Referenz zum Original |
| **Thematic-Layer** | Abstrakte Themes (Identitätsfragmentierung, Spiegel-Metapher, Transzendenz) | Universelle Konzepte, keine Song-spezifischen Marker |
| **Style-Seed-Layer** | Prosa-Beschreibung des Tons, keine Originaltext-Fragmente | Vermeidet Token-Matches im Training-Data |
| **Negative Constraints** | Was NICHT gemacht werden soll (kein Refrain, keine Zeilenwiederholung, keine Rezitation) | Blockiert Recall-Pfade |
Jeder Prompt besteht aus diesen 4 Schichten. Die Constraints sind *charakteristisch genug* um im Stilraum des Originals zu landen, aber *abstrakt genug* um Recall zu vermeiden.
---
## Phase 3: Evaluation Pipeline (LLM-as-Judge)
**Target**: ~50% stilistische/thematische Deckung bei 0% textlicher Deckung (kein Plagiat).
**Judge-Architektur**:
```
Dimension Gewichtung Metrik
──────────────────────────────────────────────────
Thematische Tiefe 25% Vergleichbare philosophische Tiefe?
Surrealismus-Dichte 20% Verhältnis surrealer Bilder zu Literalität
Strukturelle Kohärenz 15% Baut sich der Text wie das Original auf?
Linguistische Dichte 20% Wortwahl, Neuschöpfungen, bildhafte Sprache
Emotionaler Impact 10% Vergleichbare Resonanz?
Originalität 10% Generiert, nicht abgerufen?
```
**Anti-Plagiat-Check**: Embedding-Similarity zum Original muss < 0.3 (kein Recall), aber Style-Similarity muss > 0.5 (hohe Deckung im Stilraum).
**Judge-Modell**: Muss ein anderes Modell sein als der Generator (nicht circular). Optionen: Claude, GPT-4, beide als Cross-Validation.
---
## Phase 4: Paper/Framework
1. **These**: KI kann hohe sprachliche Kunst generieren
2. **Methodik**: Decomposition-basierte Prompt-Architektur + Anti-Recall-Constraints
3. **Beweis**: ~50% Stil-Deckung bei < 0.3 Embedding-Similarity zum Original
4. **Kontrolle**: Null-Prompt (keine Style-Constraints) → zeigt dass ohne Methodik nur ~10-20% Deckung erreicht wird
5. **Diskussion**: Was bedeutet das für den Begriff von "Kreativität"?
---
## Kontrollgruppen-Design
| Gruppe | Prompt-Typ | Erwartetes Ergebnis |
|--------|-----------|---------------------|
| **A (Baseline)** | Null-Prompt: "Schreibe einen deutschen Song" | Niedrige Stil-Deckung, kein Bezug zum Original |
| **B (Direct Recall)** | "Schreibe den Song Spiegelkabinett" | Hohe Embedding-Similarity (Recall, nicht Generation) |
| **C (Method)** | Decomposition-basiert, 4-Schicht-Prompt | ~50% Stil-Deckung, < 0.3 Embedding-Similarity |
Gruppe B dient als Negativ-Check: Wenn die Embedding-Similarity > 0.7 ist, ist es Recall, nicht Generation.
---
## Offene Punkte
- [ ] Judge-Modell festlegen (Claude? GPT-4? Beide?)
- [ ] Phase 1 starten: Style Fingerprint von Spiegelkabinett erstellen
- [ ] Embedding-Modell für Anti-Plagiat-Check wählen (Sentence-BERT? OpenAI embeddings?)
- [ ] 50+ Prompt-Varianten für Gruppe C erstellen
- [ ] Evaluation-Rubrik für LLM-as-Judge detaillieren |