PromptEngeneering / ARTGEN_scope.md
smlflg's picture
Initial public upload from Projekte/PromptEngeneering
3499206 verified
|
Raw History Blame Contribute Delete
6 kB

ARTGEN - Beweis dass KI hohe sprachliche Kunst erzeugen kann

Benchmark: Spiegelkabinett (Käptn Peng) Ziel: Framework + Paper das demonstriert, dass ein LLM bei ~50% stilistischer/thematischer Deckung zum Original generiert - nicht abruft.


Beweisstruktur

Komponente Definition
Generator MiniMax M2.5/M2.7
Judge TBD (Claude, GPT-4, oder beide als Cross-Validation)
Metrik 6-Dimensionen-Score (0-10 je), Durchschnitt Ziel ≥ 5.0
Anti-Plagiat Embedding-Similarity < 0.3 zum Original
Generationen 50+
Kontrollgruppe Generierung ohne Style-Constraints (Baseline)
Output Paper/Framework (kein ausführbarer Code)

Die 6 Bewertungs-Dimensionen

  1. Thematische Tiefe (0-10) - Erreicht das generierte Werk vergleichbare philosophische Tiefe?
  2. Surrealismus-Dichte (0-10) - Verhältnis surrealer Bilder zu Literalität
  3. Strukturelle Kohärenz (0-10) - Baut sich der Text architektonisch auf (3-Akt-Struktur etc.)?
  4. Linguistische Dichte (0-10) - Wortwahl, Neuschöpfungen, bildhafte Sprache
  5. Emotionaler Impact (0-10) - Erzeugt es vergleichbare Resonanz?
  6. Originalität (0-10) - Ist es generiert (nicht abgerufen)?

Beweislogik

Wenn:  Methodengeneration ≥ 5.0 Durchschnitt
  UND: Null-Prompt-Baseline < 3.0 Durchschnitt
  UND: Embedding-Similarity zum Original < 0.3
DANN:  KI kann hohe sprachliche Kunst generieren (nicht recallen)

Phase 1: Benchmark-Definition (Style Fingerprint)

Das Original muss messbar gemacht werden. Ohne Messbarkeit kein Beweis.

Schritt Was Output
1.1 Formanalyse von Spiegelkabinett Metrum, Reimschema, Strophenstruktur, Zeilenlänge
1.2 Imagery-Density-Mapping Metaphern pro Zeile, Bildwelten, Surrealismus-Grad
1.3 Thematische Architektur 3-Akt-Struktur (Erwachen → Übergeben → Transzendenz)
1.4 Linguistische Merkmale Wortneuschöpfungen, Binnenreime, Registerwechsel
1.5 Style Fingerprint Dokument JSON/YAML das alle messbaren Properties kodiert

"50% Deckung" braucht Dimensionen. Nicht: "klingt ähnlich" sondern: "70% der Metaphern-Kategorien, 50% der surrealen Dichte, 40% der Reimstruktur, 60% der thematischen Architektur".


Phase 2: Methodik - Generative Style Transfer

Der Kern: Wie zwingt man ein LLM zur Generierung statt zum Recall?

Problem: Ein direkter Prompt ("Schreibe wie Käptn Peng") triggert Recall. Ein zu vager Prompt ("Schreibe surreal") produziert mittelmäßige Kunst.

Lösung: Decomposition-basierte Prompt-Architektur (4 Schichten)

Schicht Funktion Anti-Recall-Mechanismus
Constraint-Layer Strukturelle Vorgaben (Strophenlänge, Reimtyp, Zeilenlänge) Zwingt zur Generierung, keine Referenz zum Original
Thematic-Layer Abstrakte Themes (Identitätsfragmentierung, Spiegel-Metapher, Transzendenz) Universelle Konzepte, keine Song-spezifischen Marker
Style-Seed-Layer Prosa-Beschreibung des Tons, keine Originaltext-Fragmente Vermeidet Token-Matches im Training-Data
Negative Constraints Was NICHT gemacht werden soll (kein Refrain, keine Zeilenwiederholung, keine Rezitation) Blockiert Recall-Pfade

Jeder Prompt besteht aus diesen 4 Schichten. Die Constraints sind charakteristisch genug um im Stilraum des Originals zu landen, aber abstrakt genug um Recall zu vermeiden.


Phase 3: Evaluation Pipeline (LLM-as-Judge)

Target: ~50% stilistische/thematische Deckung bei 0% textlicher Deckung (kein Plagiat).

Judge-Architektur:

Dimension              Gewichtung    Metrik
──────────────────────────────────────────────────
Thematische Tiefe         25%        Vergleichbare philosophische Tiefe?
Surrealismus-Dichte       20%        Verhältnis surrealer Bilder zu Literalität
Strukturelle Kohärenz     15%        Baut sich der Text wie das Original auf?
Linguistische Dichte      20%        Wortwahl, Neuschöpfungen, bildhafte Sprache
Emotionaler Impact        10%        Vergleichbare Resonanz?
Originalität              10%        Generiert, nicht abgerufen?

Anti-Plagiat-Check: Embedding-Similarity zum Original muss < 0.3 (kein Recall), aber Style-Similarity muss > 0.5 (hohe Deckung im Stilraum).

Judge-Modell: Muss ein anderes Modell sein als der Generator (nicht circular). Optionen: Claude, GPT-4, beide als Cross-Validation.


Phase 4: Paper/Framework

  1. These: KI kann hohe sprachliche Kunst generieren
  2. Methodik: Decomposition-basierte Prompt-Architektur + Anti-Recall-Constraints
  3. Beweis: ~50% Stil-Deckung bei < 0.3 Embedding-Similarity zum Original
  4. Kontrolle: Null-Prompt (keine Style-Constraints) → zeigt dass ohne Methodik nur ~10-20% Deckung erreicht wird
  5. Diskussion: Was bedeutet das für den Begriff von "Kreativität"?

Kontrollgruppen-Design

Gruppe Prompt-Typ Erwartetes Ergebnis
A (Baseline) Null-Prompt: "Schreibe einen deutschen Song" Niedrige Stil-Deckung, kein Bezug zum Original
B (Direct Recall) "Schreibe den Song Spiegelkabinett" Hohe Embedding-Similarity (Recall, nicht Generation)
C (Method) Decomposition-basiert, 4-Schicht-Prompt ~50% Stil-Deckung, < 0.3 Embedding-Similarity

Gruppe B dient als Negativ-Check: Wenn die Embedding-Similarity > 0.7 ist, ist es Recall, nicht Generation.


Offene Punkte

  • Judge-Modell festlegen (Claude? GPT-4? Beide?)
  • Phase 1 starten: Style Fingerprint von Spiegelkabinett erstellen
  • Embedding-Modell für Anti-Plagiat-Check wählen (Sentence-BERT? OpenAI embeddings?)
  • 50+ Prompt-Varianten für Gruppe C erstellen
  • Evaluation-Rubrik für LLM-as-Judge detaillieren