# ARTGEN - Beweis dass KI hohe sprachliche Kunst erzeugen kann **Benchmark**: Spiegelkabinett (Käptn Peng) **Ziel**: Framework + Paper das demonstriert, dass ein LLM bei ~50% stilistischer/thematischer Deckung zum Original *generiert* - nicht *abruft*. --- ## Beweisstruktur | Komponente | Definition | |-----------|-----------| | **Generator** | MiniMax M2.5/M2.7 | | **Judge** | TBD (Claude, GPT-4, oder beide als Cross-Validation) | | **Metrik** | 6-Dimensionen-Score (0-10 je), Durchschnitt Ziel ≥ 5.0 | | **Anti-Plagiat** | Embedding-Similarity < 0.3 zum Original | | **Generationen** | 50+ | | **Kontrollgruppe** | Generierung ohne Style-Constraints (Baseline) | | **Output** | Paper/Framework (kein ausführbarer Code) | --- ## Die 6 Bewertungs-Dimensionen 1. **Thematische Tiefe** (0-10) - Erreicht das generierte Werk vergleichbare philosophische Tiefe? 2. **Surrealismus-Dichte** (0-10) - Verhältnis surrealer Bilder zu Literalität 3. **Strukturelle Kohärenz** (0-10) - Baut sich der Text architektonisch auf (3-Akt-Struktur etc.)? 4. **Linguistische Dichte** (0-10) - Wortwahl, Neuschöpfungen, bildhafte Sprache 5. **Emotionaler Impact** (0-10) - Erzeugt es vergleichbare Resonanz? 6. **Originalität** (0-10) - Ist es generiert (nicht abgerufen)? --- ## Beweislogik ``` Wenn: Methodengeneration ≥ 5.0 Durchschnitt UND: Null-Prompt-Baseline < 3.0 Durchschnitt UND: Embedding-Similarity zum Original < 0.3 DANN: KI kann hohe sprachliche Kunst generieren (nicht recallen) ``` --- ## Phase 1: Benchmark-Definition (Style Fingerprint) Das Original muss messbar gemacht werden. Ohne Messbarkeit kein Beweis. | Schritt | Was | Output | |---------|-----|--------| | 1.1 | Formanalyse von Spiegelkabinett | Metrum, Reimschema, Strophenstruktur, Zeilenlänge | | 1.2 | Imagery-Density-Mapping | Metaphern pro Zeile, Bildwelten, Surrealismus-Grad | | 1.3 | Thematische Architektur | 3-Akt-Struktur (Erwachen → Übergeben → Transzendenz) | | 1.4 | Linguistische Merkmale | Wortneuschöpfungen, Binnenreime, Registerwechsel | | 1.5 | Style Fingerprint Dokument | JSON/YAML das alle messbaren Properties kodiert | "50% Deckung" braucht Dimensionen. Nicht: "klingt ähnlich" sondern: "70% der Metaphern-Kategorien, 50% der surrealen Dichte, 40% der Reimstruktur, 60% der thematischen Architektur". --- ## Phase 2: Methodik - Generative Style Transfer Der Kern: Wie zwingt man ein LLM zur *Generierung* statt zum *Recall*? **Problem**: Ein direkter Prompt ("Schreibe wie Käptn Peng") triggert Recall. Ein zu vager Prompt ("Schreibe surreal") produziert mittelmäßige Kunst. **Lösung**: Decomposition-basierte Prompt-Architektur (4 Schichten) | Schicht | Funktion | Anti-Recall-Mechanismus | |---------|----------|------------------------| | **Constraint-Layer** | Strukturelle Vorgaben (Strophenlänge, Reimtyp, Zeilenlänge) | Zwingt zur Generierung, keine Referenz zum Original | | **Thematic-Layer** | Abstrakte Themes (Identitätsfragmentierung, Spiegel-Metapher, Transzendenz) | Universelle Konzepte, keine Song-spezifischen Marker | | **Style-Seed-Layer** | Prosa-Beschreibung des Tons, keine Originaltext-Fragmente | Vermeidet Token-Matches im Training-Data | | **Negative Constraints** | Was NICHT gemacht werden soll (kein Refrain, keine Zeilenwiederholung, keine Rezitation) | Blockiert Recall-Pfade | Jeder Prompt besteht aus diesen 4 Schichten. Die Constraints sind *charakteristisch genug* um im Stilraum des Originals zu landen, aber *abstrakt genug* um Recall zu vermeiden. --- ## Phase 3: Evaluation Pipeline (LLM-as-Judge) **Target**: ~50% stilistische/thematische Deckung bei 0% textlicher Deckung (kein Plagiat). **Judge-Architektur**: ``` Dimension Gewichtung Metrik ────────────────────────────────────────────────── Thematische Tiefe 25% Vergleichbare philosophische Tiefe? Surrealismus-Dichte 20% Verhältnis surrealer Bilder zu Literalität Strukturelle Kohärenz 15% Baut sich der Text wie das Original auf? Linguistische Dichte 20% Wortwahl, Neuschöpfungen, bildhafte Sprache Emotionaler Impact 10% Vergleichbare Resonanz? Originalität 10% Generiert, nicht abgerufen? ``` **Anti-Plagiat-Check**: Embedding-Similarity zum Original muss < 0.3 (kein Recall), aber Style-Similarity muss > 0.5 (hohe Deckung im Stilraum). **Judge-Modell**: Muss ein anderes Modell sein als der Generator (nicht circular). Optionen: Claude, GPT-4, beide als Cross-Validation. --- ## Phase 4: Paper/Framework 1. **These**: KI kann hohe sprachliche Kunst generieren 2. **Methodik**: Decomposition-basierte Prompt-Architektur + Anti-Recall-Constraints 3. **Beweis**: ~50% Stil-Deckung bei < 0.3 Embedding-Similarity zum Original 4. **Kontrolle**: Null-Prompt (keine Style-Constraints) → zeigt dass ohne Methodik nur ~10-20% Deckung erreicht wird 5. **Diskussion**: Was bedeutet das für den Begriff von "Kreativität"? --- ## Kontrollgruppen-Design | Gruppe | Prompt-Typ | Erwartetes Ergebnis | |--------|-----------|---------------------| | **A (Baseline)** | Null-Prompt: "Schreibe einen deutschen Song" | Niedrige Stil-Deckung, kein Bezug zum Original | | **B (Direct Recall)** | "Schreibe den Song Spiegelkabinett" | Hohe Embedding-Similarity (Recall, nicht Generation) | | **C (Method)** | Decomposition-basiert, 4-Schicht-Prompt | ~50% Stil-Deckung, < 0.3 Embedding-Similarity | Gruppe B dient als Negativ-Check: Wenn die Embedding-Similarity > 0.7 ist, ist es Recall, nicht Generation. --- ## Offene Punkte - [ ] Judge-Modell festlegen (Claude? GPT-4? Beide?) - [ ] Phase 1 starten: Style Fingerprint von Spiegelkabinett erstellen - [ ] Embedding-Modell für Anti-Plagiat-Check wählen (Sentence-BERT? OpenAI embeddings?) - [ ] 50+ Prompt-Varianten für Gruppe C erstellen - [ ] Evaluation-Rubrik für LLM-as-Judge detaillieren