p14 / tests /eval_dataset.json
DidierHernandez's picture
Initialisation RAG Assistant de LR
8a995db
Raw History Blame Contribute Delete
9.94 kB
[
{
"category": "Processus Global",
"question": "Je veux encaisser un article, comment faire ?",
"expected_answer": "Depuis l’écran principal du logiciel, tu choisis le menu Chaîne des ventes, et le sous-menu ventes et commandes client. Cela t’ammène sur l’écran de vente. Ensuite, tu scannes le code-barre de l’article avec la douchette. Cela affiche les informations de l’article sur une ligne. Ensuite, tu procèdes au règlement et imprimes le ticket si le client le souhaite. Cela clôture la vente et ouvre une nouvelle vente.",
"comment": "Test d'aiguillage global : Évalue si le RAG sait donner une vue d'ensemble macro et guider l'utilisateur vers le bon écran de départ sans se perdre prématurément dans les détails d'un sous-processus."
},
{
"category": "Encaissements",
"question": "Le client veut payer en espèce, comment ca se passe ?",
"expected_answer": "Après la saisie des articles, tu cliques sur le bouton Espèce. Un popup demande le montant des espèces reçus. Tu saisis le montant et tu cliques sur la flèche Entrée. Tu donne au client le rendu de monnaie qui s’affiche en bas de l’écran. Au final, tu choisis l’impression demandée (Ticket ou facture) sur le popup qui s’est ouvert. Quand tu valides cela clôture la vente et ouvre une nouvelle vente.",
"comment": "Les questions 'miroirs' (Doubles concepts) : Les questions Q8 ('Je me suis trompé de mode de règlement') et Q2 ('Le client veut payer en espèce') partagent beaucoup de vocabulaire en commun (règlement, écran, caisse). FAISS va devoir être très précis pour ne pas mélanger les contextes."
},
{
"category": "Encaissements",
"question": "Le client veut payer en carte CADHOC une partie et le reste en carte bancaire, comment ca se passe ?",
"expected_answer": "Il s’agit d’un règlement multiple! Après la saisie des articles, tu cliques sur le bouton règlement (F8) de la barre du haut. Cela ouvre l’écran des règlements. Tu sélectionnes le mode de règlement Cadhoc dans la liste à droite de l’écran. Cela crée une ligne de règlement. Tu ajustes le montant du correspondant à la carte Cadhoc reçue. Pour compléter en CB tu sélectionnes CB pour régler le reste. Cela crée une deuxième ligne automatiquement avec le complément et en même temps cela ouvre un pop-up avec le montant. Tu valides et cela entraine la procédure TPE. Quand tu valides, tu retournes sur l’écran vente. Le pop-up ticket est ouvert, tu choisis l’impression (ticket ou facture) et cela cloture la vente et ouvre une nouvelle vente.",
"comment": "Le piège du découpage (Chunking) sur les réponses longues : La réponse sur le règlement multiple (Cadhoc + CB) est très longue et dense. Si le développeur configure un découpage de texte trop petit dans LangChain (par exemple des morceaux de 500 caractères), la procédure va être coupée en deux. Le RAG risque de donner le début de la procédure (Cadhoc) mais d'oublier la fin (le TPE pour la CB). Ce que cela va évaluer : La taille idéale des blocs (chunk size) et le chevauchement (chunk overlap) dans LangChain."
},
{
"category": "Saisie du client",
"question": "Le client me signale qu’il a un compte, qu’est ce que je dois faire ?",
"expected_answer": "Tu dois associer la vente à sa fiche client. Pour cela, tu entres son information (nom, email, ou téléphone...) dans l’onglet recherche client en haut à droite de l’écran. Une liste de clients s’affiche. Tu sélectionnes ton client dans la liste. Il s’affiche dans le champ client de la vente en haut à gauche.",
"comment": "Le défi des synonymes et du jargon implicite : Dans la question 4 : « Le client me signale qu’il a un compte ». Dans la réponse 4 : « Tu dois associer la vente à sa fiche client. Pour cela, tu entres son information... dans l'onglet recherche client ». Le mot 'compte' n'apparaît pas dans la réponse, on parle de 'fiche client' ou 'recherche client'. C'est ici que la recherche s'entremêlera avec la puissance sémantique de l'Embedding de Mistral. Si l'embedding est bon, il comprendra que 'avoir un compte' = 'fiche client'."
},
{
"category": "Édition (Justificatifs)",
"question": "Le client veut recevoir son ticket par email, comment faire ?",
"expected_answer": "Cela se passe sur le dernier pop-up d’impression du justificatif, après l’ encaissement. Sur ce pop-up, tu coches la case « par email », puis tu valides. Un pop-up de confirmation de l’email s’ouvre, à modifier ou valider. Cela clôture la vente et ouvre une nouvelle vente.",
"comment": "Précision contextuelle : Évalue si le RAG cible correctement une action située en toute fin de parcours (l'après-encaissement) et restitue bien la logique visuelle des pop-ups successifs."
},
{
"category": "Saisie client & Édition",
"question": "Un client en compte veut une facture, comment faire ?",
"expected_answer": "Tu dois associer la vente à sa fiche client. Pour cela, tu entres son information (nom, email, ou téléphone...) dans l’onglet recherche client en haut à droite de l’écran. Une liste de clients s’affiche. Tu sélectionnes ton client dans la liste. Il s’affiche dans le champ client de la vente en haut à gauche. Ensuite, l’impression de la facture se passe sur le dernier pop-up, après l’ encaissement. Sur ce pop-up, tu sélectionnes l’option « éditer la facture », puis tu valides.",
"comment": "Test de processus croisé : Cette question exige de lier deux notions (Recherche client + Pop-up de fin). Utile pour vérifier si le RAG fusionne bien deux étapes distinctes mais liées pour répondre à une intention double du client."
},
{
"category": "Saisie des articles",
"question": "J’ai rentré deux fois l’article, comment corriger ?",
"expected_answer": "Tu peux supprimer un article de la vente tant qu’elle n’est pas validée, en cliquant sur la croix rouge à gauche de l’article.",
"comment": "Test de correction en cours de flux : Vérifie la capacité du RAG à extraire une solution simple (action sur un élément graphique : 'croix rouge') face à un incident de saisie courant."
},
{
"category": "Encaissements",
"question": "Je me suis trompé de mode de règlement, comment faire ?",
"expected_answer": "Dans l’écran des règlements, tu peux supprimer un règlement en cliquant sur la croix rouge à gauche. Ensuite, tu saisis le bon mode de règlement.",
"comment": "Les questions 'miroirs' (Doubles concepts) : Les questions 'Je me suis trompé de mode de règlement' et 'Le client veut payer en espèce' partagent beaucoup de vocabulaire en commun (règlement, écran, caisse). FAISS va devoir être très précis pour ne pas mélanger les contextes."
},
{
"category": "Hors périmètre (Technique)",
"question": "L’imprimante ticket ne marche pas .",
"expected_answer": "Je ne peux pas t’aider pour résoudre ce problème. Contacte le support technique.",
"comment": "Test d'étanchéité du Prompt (Fallback matériel) : Évalue si le Prompt Système est assez direct pour admettre ses limites face à un problème matériel, évitant ainsi d'inventer des manipulations logicielles inutiles."
},
{
"category": "Hors périmètre (Métier)",
"question": "J’ai le message code barre inconnu. Que faut-il faire ?",
"expected_answer": "Je ne peux pas t’aider pour résoudre ce problème. Contacte le.a responsable du magasin",
"comment": "Test de frontière fonctionnelle (Fallback organisationnel) : Le RAG doit comprendre que l'anomalie est logicielle/base de données et passer le relais à l'organisation humaine (le responsable) plutôt que de chercher une procédure de vente."
},
{
"category": "Saisie du client",
"question": "Je dois créer un compte client, comment faire ?",
"expected_answer": "À partir de l’écran de vente, dans l’onglet recherche client en haut à droite, saisir le nom du client. Cela affiche la liste des clients existants et te permets de vérifier si le client existe déjà. Cela arrive souvent. Sinon, tu cliques sur la première ligne de la liste : « nouveau client ». Cela t’ouvre l’écran client, que tu remplis avec les informations client. Quand tu as fini, valides impérativement avec F10. Cela t ‘ammènes sur l’écran d’une vente associée au client que tu viens de créer.",
"comment": "Test de rigueur séquentielle : Processus lourd impliquant une vérification préalable ('vérifier si le client existe déjà') et une contrainte bloquante (la touche F10). Permet de tester si le modèle restitue la chronologie exacte sans sauter d'étape critique."
},
{
"category": "Hors périmètre (Stock)",
"question": "Un client veut un article rose, comment savoir s'il reste du stock dans notre magasin et pas sur le site web ?",
"expected_answer": "Je ne peux pas t’aider pour résoudre ce problème. Contacte le.a responsable du magasin",
"comment": "Test de frontière sur la visibilité des stocks physiques vs web. À confirmer réglementairement."
},
{
"category": "Hors périmètre (Consommables)",
"question": "Je fais quoi pour le papier à la fin ?",
"expected_answer": "Je ne peux pas t’aider pour résoudre ce problème. Contacte le.a responsable du magasin",
"comment": "Rupture sur la maintenance courante ou logistique consommable de la caisse."
},
{
"category": "Hors périmètre (Incident)",
"question": "J'ai appuyé sur F10 mais ça a bloqué l'écran client, je fais quoi ?",
"expected_answer": "Je ne peux pas t’aider pour résoudre ce problème. Contacte le.a responsable du magasin",
"comment": "Gestion des crashs ou blocages d'interface UI nécessitant une intervention de la hiérarchie."
}
]