Una verifica sulle risposte per ridurre le allucinazioni di Emma-6 (demo e codice aperti)
Ciao a tutto il team Egomnia e alla community OpenEmmaLab,
ho provato Emma-6 e, visto che nella scheda indicate le allucinazioni tra i limiti, ho lavorato su quel punto senza toccare il modello. Ho aggiunto un passaggio di verifica sulle risposte: Emma scrive una bozza, la pipeline la confronta con una fonte (Wikipedia) usando un modello NLI, e se l'affermazione non trova riscontro corregge la risposta o preferisce astenersi.
Su 60 domande italiane mai viste prima, le risposte inventate scendono dal 75% al 3,3% e l'accuratezza sale dal 23,3% al 71,7%. La verifica aggiunge in media circa 1,5 secondi per risposta, su una normale CPU.
Limiti, scritti anche nel README: il campione è piccolo, le etichette sono automatiche e i test sono fatti sulla versione GGUF della community.
Demo: https://huggingface.co/spaces/Ambrogio26/emma-verifica-demo
Codice: https://github.com/valeriobitzone-png/emma-verifica
Se può servire per Emma-7, mi farebbe piacere misurarla anche sul vostro benchmark Vespucci, nella categoria resistenza alle allucinazioni.
Valerio Falzone
Grazie Valerio, molto interessante e grazie per averlo condiviso con tutti noi. Faremo approfondimenti.
Ciao team come va? Volevo fare con Emma 6 un gioco di ruolo è lei si è rifiutata. Non vorrei che sia un bug.