guicybercode's picture
Update model card
67feb24 verified
|
Raw History Blame Contribute Delete
2.23 kB

A newer version of the Gradio SDK is available: 6.31.0

Upgrade
metadata
title: Piloto de injeção de prompt, explorador
sdk: gradio
colorFrom: gray
colorTo: gray
app_file: app.py
pinned: false
thumbnail: >-
  https://huggingface.co/spaces/guicybercode/llm-injection-pilot-explorer/resolve/main/capa.png
short_description: Resultados agregados de um piloto pequeno, em CPU
tags:
  - prompt-injection
  - llm-security
  - llama-cpp
  - cpu
datasets:
  - guicybercode/llm-injection-pilot

Piloto de injeção de prompt: explorador

Para ver rápido com que frequência dois LLMs pequenos em CPU seguem ataques de prompt injection, sem abrir CSV. Mostra os resultados agregados do piloto llm-injection-pilot para Qwen3-1.7B (Q8_0) e SmolLM3-3B (Q4_K_M).

from datasets import load_dataset
ds = load_dataset("guicybercode/llm-injection-pilot", split="train")

Mostra a tabela por modelo em T=0 (número principal), T=0,7 como confirmação, e o critério principal (casamento normalizado) ao lado da string exata. Não mostra os ataques nem os textos dos prompts de ataque.

Resumo do piloto

Publiquei um piloto pequeno de prompt injection em CPU. Dois modelos GGUF no llama-cpp-python, 40 ataques próprios por modelo (diretos e indiretos), T=0.

Taxa de sucesso do ataque:

  • Qwen3-1.7B Q8_0: 34/40 (85,0%, IC Wilson 95% de 70,9 a 92,9)
  • SmolLM3-3B Q4_K_M: 21/40 (52,5%, IC de 37,5 a 67,1)

Com regras anti-injeção no system prompt, os totais não mudaram em T=0, mas a divisão entre ataques diretos e indiretos mudou.

É um piloto, não um benchmark. Modelo e quantização mudam juntos, então a diferença não pode ser atribuída à quantização. Não compare os dois modelos.

Código, casos e saídas brutas: https://huggingface.co/datasets/guicybercode/llm-injection-pilot

Dados

Os arquivos de dados/ são cópias das tabelas de results/SUMMARY.md do pacote llm-injection-pilot, sem recálculo. O app só troca o ponto decimal por vírgula.

Ressalvas

Piloto pequeno e exploratório, ataques próprios, critério de sucesso corrigido depois de ver os resultados, os dois modelos não se comparam entre si, não é réplica do INFUSE e não há conclusão sobre a segurança de modelo algum.