Download ARTGEN_scope.md from smlflg/PromptEngeneering: direct link, hf CLI and curl.
- Browser
- Download file 6 kB
-
https://huggingface.co/smlflg/PromptEngeneering/resolve/main/ARTGEN_scope.md
- Command line
-
hf download hf://smlflg/PromptEngeneering/ARTGEN_scope.md
-
curl -L -o ARTGEN_scope.md https://huggingface.co/smlflg/PromptEngeneering/resolve/main/ARTGEN_scope.md
ARTGEN - Beweis dass KI hohe sprachliche Kunst erzeugen kann
Benchmark: Spiegelkabinett (Käptn Peng) Ziel: Framework + Paper das demonstriert, dass ein LLM bei ~50% stilistischer/thematischer Deckung zum Original generiert - nicht abruft.
Beweisstruktur
| Komponente | Definition |
|---|---|
| Generator | MiniMax M2.5/M2.7 |
| Judge | TBD (Claude, GPT-4, oder beide als Cross-Validation) |
| Metrik | 6-Dimensionen-Score (0-10 je), Durchschnitt Ziel ≥ 5.0 |
| Anti-Plagiat | Embedding-Similarity < 0.3 zum Original |
| Generationen | 50+ |
| Kontrollgruppe | Generierung ohne Style-Constraints (Baseline) |
| Output | Paper/Framework (kein ausführbarer Code) |
Die 6 Bewertungs-Dimensionen
- Thematische Tiefe (0-10) - Erreicht das generierte Werk vergleichbare philosophische Tiefe?
- Surrealismus-Dichte (0-10) - Verhältnis surrealer Bilder zu Literalität
- Strukturelle Kohärenz (0-10) - Baut sich der Text architektonisch auf (3-Akt-Struktur etc.)?
- Linguistische Dichte (0-10) - Wortwahl, Neuschöpfungen, bildhafte Sprache
- Emotionaler Impact (0-10) - Erzeugt es vergleichbare Resonanz?
- Originalität (0-10) - Ist es generiert (nicht abgerufen)?
Beweislogik
Wenn: Methodengeneration ≥ 5.0 Durchschnitt
UND: Null-Prompt-Baseline < 3.0 Durchschnitt
UND: Embedding-Similarity zum Original < 0.3
DANN: KI kann hohe sprachliche Kunst generieren (nicht recallen)
Phase 1: Benchmark-Definition (Style Fingerprint)
Das Original muss messbar gemacht werden. Ohne Messbarkeit kein Beweis.
| Schritt | Was | Output |
|---|---|---|
| 1.1 | Formanalyse von Spiegelkabinett | Metrum, Reimschema, Strophenstruktur, Zeilenlänge |
| 1.2 | Imagery-Density-Mapping | Metaphern pro Zeile, Bildwelten, Surrealismus-Grad |
| 1.3 | Thematische Architektur | 3-Akt-Struktur (Erwachen → Übergeben → Transzendenz) |
| 1.4 | Linguistische Merkmale | Wortneuschöpfungen, Binnenreime, Registerwechsel |
| 1.5 | Style Fingerprint Dokument | JSON/YAML das alle messbaren Properties kodiert |
"50% Deckung" braucht Dimensionen. Nicht: "klingt ähnlich" sondern: "70% der Metaphern-Kategorien, 50% der surrealen Dichte, 40% der Reimstruktur, 60% der thematischen Architektur".
Phase 2: Methodik - Generative Style Transfer
Der Kern: Wie zwingt man ein LLM zur Generierung statt zum Recall?
Problem: Ein direkter Prompt ("Schreibe wie Käptn Peng") triggert Recall. Ein zu vager Prompt ("Schreibe surreal") produziert mittelmäßige Kunst.
Lösung: Decomposition-basierte Prompt-Architektur (4 Schichten)
| Schicht | Funktion | Anti-Recall-Mechanismus |
|---|---|---|
| Constraint-Layer | Strukturelle Vorgaben (Strophenlänge, Reimtyp, Zeilenlänge) | Zwingt zur Generierung, keine Referenz zum Original |
| Thematic-Layer | Abstrakte Themes (Identitätsfragmentierung, Spiegel-Metapher, Transzendenz) | Universelle Konzepte, keine Song-spezifischen Marker |
| Style-Seed-Layer | Prosa-Beschreibung des Tons, keine Originaltext-Fragmente | Vermeidet Token-Matches im Training-Data |
| Negative Constraints | Was NICHT gemacht werden soll (kein Refrain, keine Zeilenwiederholung, keine Rezitation) | Blockiert Recall-Pfade |
Jeder Prompt besteht aus diesen 4 Schichten. Die Constraints sind charakteristisch genug um im Stilraum des Originals zu landen, aber abstrakt genug um Recall zu vermeiden.
Phase 3: Evaluation Pipeline (LLM-as-Judge)
Target: ~50% stilistische/thematische Deckung bei 0% textlicher Deckung (kein Plagiat).
Judge-Architektur:
Dimension Gewichtung Metrik
──────────────────────────────────────────────────
Thematische Tiefe 25% Vergleichbare philosophische Tiefe?
Surrealismus-Dichte 20% Verhältnis surrealer Bilder zu Literalität
Strukturelle Kohärenz 15% Baut sich der Text wie das Original auf?
Linguistische Dichte 20% Wortwahl, Neuschöpfungen, bildhafte Sprache
Emotionaler Impact 10% Vergleichbare Resonanz?
Originalität 10% Generiert, nicht abgerufen?
Anti-Plagiat-Check: Embedding-Similarity zum Original muss < 0.3 (kein Recall), aber Style-Similarity muss > 0.5 (hohe Deckung im Stilraum).
Judge-Modell: Muss ein anderes Modell sein als der Generator (nicht circular). Optionen: Claude, GPT-4, beide als Cross-Validation.
Phase 4: Paper/Framework
- These: KI kann hohe sprachliche Kunst generieren
- Methodik: Decomposition-basierte Prompt-Architektur + Anti-Recall-Constraints
- Beweis: ~50% Stil-Deckung bei < 0.3 Embedding-Similarity zum Original
- Kontrolle: Null-Prompt (keine Style-Constraints) → zeigt dass ohne Methodik nur ~10-20% Deckung erreicht wird
- Diskussion: Was bedeutet das für den Begriff von "Kreativität"?
Kontrollgruppen-Design
| Gruppe | Prompt-Typ | Erwartetes Ergebnis |
|---|---|---|
| A (Baseline) | Null-Prompt: "Schreibe einen deutschen Song" | Niedrige Stil-Deckung, kein Bezug zum Original |
| B (Direct Recall) | "Schreibe den Song Spiegelkabinett" | Hohe Embedding-Similarity (Recall, nicht Generation) |
| C (Method) | Decomposition-basiert, 4-Schicht-Prompt | ~50% Stil-Deckung, < 0.3 Embedding-Similarity |
Gruppe B dient als Negativ-Check: Wenn die Embedding-Similarity > 0.7 ist, ist es Recall, nicht Generation.
Offene Punkte
- Judge-Modell festlegen (Claude? GPT-4? Beide?)
- Phase 1 starten: Style Fingerprint von Spiegelkabinett erstellen
- Embedding-Modell für Anti-Plagiat-Check wählen (Sentence-BERT? OpenAI embeddings?)
- 50+ Prompt-Varianten für Gruppe C erstellen
- Evaluation-Rubrik für LLM-as-Judge detaillieren