A original [ { "prompt": "Bonjour, comment ça va ?", "gold": "Ça va très bien, et toi ?\n", "n_steps": 77, "n_prompt_bytes": 50, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 37.44690704345703, "n_mismatch_steps(>1e-4)": 24, "first_mismatch_step": 53, "first_mismatch_input_byte": " ", "packet_feature_mismatch_bytes": [ " ", " ", " ", ",", " ", " ", " ", "?" ], "boundaries_tf_vs_gen_at_mismatch": [ [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ ",", "max_span", "punctuation" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ "?", "max_span", "punctuation" ] ], "reply_ce_teacher_forced": 2.564189194908668, "reply_ce_gen_path_forced": 4.3449556344910105 }, { "prompt": "Qui es-tu ?", "gold": "Je suis Atom, un petit modèle qui apprend à parler.\n", "n_steps": 89, "n_prompt_bytes": 36, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 36.11018371582031, "n_mismatch_steps(>1e-4)": 51, "first_mismatch_step": 38, "first_mismatch_input_byte": " ", "packet_feature_mismatch_bytes": [ " ", " ", ",", " ", " ", " ", " ", " ", " ", " ", "." ], "boundaries_tf_vs_gen_at_mismatch": [ [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ ",", "max_span", "punctuation" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ ".", "max_span", "punctuation" ] ], "reply_ce_teacher_forced": 1.9446363999921703, "reply_ce_gen_path_forced": 3.699582421537343 }, { "prompt": "Il était une fois", "gold": "Il était une fois un petit robot qui apprenait des mots.\n", "n_steps": 100, "n_prompt_bytes": 43, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 35.61299514770508, "n_mismatch_steps(>1e-4)": 55, "first_mismatch_step": 45, "first_mismatch_input_byte": " ", "packet_feature_mismatch_bytes": [ " ", " ", " ", " ", " ", " ", " ", " ", " ", " ", "." ], "boundaries_tf_vs_gen_at_mismatch": [ [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ ".", "max_span", "punctuation" ] ], "reply_ce_teacher_forced": 2.362481901176995, "reply_ce_gen_path_forced": 4.390927805947787 }, { "prompt": "Tu habites où ?", "gold": "J'habite à Strasbourg. Et toi ?\n", "n_steps": 73, "n_prompt_bytes": 41, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 37.65653991699219, "n_mismatch_steps(>1e-4)": 31, "first_mismatch_step": 42, "first_mismatch_input_byte": "'", "packet_feature_mismatch_bytes": [ "'", " ", " ", ".", " ", " ", " ", "?" ], "boundaries_tf_vs_gen_at_mismatch": [ [ "'", "max_span", "punctuation" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ ".", "max_span", "punctuation" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ " ", "max_span", "whitespace" ], [ "?", "max_span", "punctuation" ] ], "reply_ce_teacher_forced": 4.601751358285555, "reply_ce_gen_path_forced": 6.735027462071072 } ] { "Bonjour, comment ça va ?": [ "Je ", "Je ", "Je ", "Je ", "Peut--ommends ", "Je ", "Oui, ", "Je iiss " ], "Qui es-tu ?": [ "Oui, ", "Je \nAssiss", "Je ", "Je ", "Oui, ", "Je ", "Peut--être ", "Je iissisir, t'''' " ], "Il était une fois": [ "Je ", "Je \nAssiss", "Je ", "Je ", "Oui, ", "Je ", "Peut--être ", "Je iissisir, t'''' " ] } {'chars': 2302, 'punct': 20, 'doubled_punct_pairs': 7} { "Bonjour, comment ça va ?": [ "Je ", "Je ", "Je ", "Je ", "Peut--ommends ", "Je ", "Oui, ", "Je iiss " ], "Qui es-tu ?": [ "Oui, ", "Je \nAssiss", "Je ", "Je ", "Oui, ", "Je ", "Peut--être ", "Je iissisir, " ], "Il était une fois": [ "Je ", "Je \nAssiss", "Je ", "Je ", "Oui, ", "Je ", "Peut--être ", "Je iissisir, " ] } {'chars': 2302, 'punct': 12, 'doubled_punct_pairs': 3} B patched [ { "prompt": "Bonjour, comment ça va ?", "gold": "Ça va très bien, et toi ?\n", "n_steps": 77, "n_prompt_bytes": 50, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 0.0, "n_mismatch_steps(>1e-4)": 0, "first_mismatch_step": null, "first_mismatch_input_byte": null, "packet_feature_mismatch_bytes": [], "boundaries_tf_vs_gen_at_mismatch": [], "reply_ce_teacher_forced": 2.564189194908668, "reply_ce_gen_path_forced": 2.564189194908668 }, { "prompt": "Qui es-tu ?", "gold": "Je suis Atom, un petit modèle qui apprend à parler.\n", "n_steps": 89, "n_prompt_bytes": 36, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 0.0, "n_mismatch_steps(>1e-4)": 0, "first_mismatch_step": null, "first_mismatch_input_byte": null, "packet_feature_mismatch_bytes": [], "boundaries_tf_vs_gen_at_mismatch": [], "reply_ce_teacher_forced": 1.9446363999921703, "reply_ce_gen_path_forced": 1.9446363999921703 }, { "prompt": "Il était une fois", "gold": "Il était une fois un petit robot qui apprenait des mots.\n", "n_steps": 100, "n_prompt_bytes": 43, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 0.0, "n_mismatch_steps(>1e-4)": 0, "first_mismatch_step": null, "first_mismatch_input_byte": null, "packet_feature_mismatch_bytes": [], "boundaries_tf_vs_gen_at_mismatch": [], "reply_ce_teacher_forced": 2.362481901176995, "reply_ce_gen_path_forced": 2.362481901176995 }, { "prompt": "Tu habites où ?", "gold": "J'habite à Strasbourg. Et toi ?\n", "n_steps": 73, "n_prompt_bytes": 41, "max_logit_diff_prompt_part": 0.0, "max_logit_diff_reply_part": 0.0, "n_mismatch_steps(>1e-4)": 0, "first_mismatch_step": null, "first_mismatch_input_byte": null, "packet_feature_mismatch_bytes": [], "boundaries_tf_vs_gen_at_mismatch": [], "reply_ce_teacher_forced": 4.601751358285555, "reply_ce_gen_path_forced": 4.601751358285555 } ] { "Bonjour, comment ça va ?": [ "Je suis faisir, continuon.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais bien, je vais le le ce ?\nAssistant: Peut-être un parle t'écoute.\n\n", "Peut-être t'écoute.\n\n", "Je t'écoute.\n\n", "Oui, je vais bieni ?\nAssistant: Peut-être lus.\n\n", "Je vais réfléchir.\n\n" ], "Qui es-tu ?": [ "Oui, je veux qu'on mais claisir, continuon, je vais réfléchir.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais réfléchir.\n\n", "Oui, je veux qu'on parle mais et mait.\n\n", "Je ques d'accord ?\nAssistant: Peut-être ce tu proposes ?\nAssistant: Je vais réfléchir.\n\n", "Peut-être ce ?\nAssistant: Je ends d'accord ?\nAssistant: Peut-être ce prends d'accord avec toi.", "Je vais réfléchir.\n\n" ], "Il était une fois": [ "Je vais d'accord ?\nAssistant: Je ques ?\nAssistant: Avec plaisir, coute.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais ci.\n\n", "Oui, je veux qu'on parle mais et mait.\n\n", "Je vais d'accord avec toi.\n\n", "Peut-être ce ?\nAssistant: Je ends d'accord ?\nAssistant: Peut-être ce prends d'accord avec toi.", "Je vais réfléchir.\n\n" ] } {'chars': 1012, 'punct': 83, 'doubled_punct_pairs': 0} { "Bonjour, comment ça va ?": [ "Je suis faisir, continuon.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais bien, je vais le le ce vaist ça vvec plaisir, continuons.\n\n", "Peut-être t'écoute.\n\n", "Je t'écoute.\n\n", "Oui, je vais bieni ?\nAssistant: Peut-être lus.\n\n", "Je vais réfléchir.\n\n" ], "Qui es-tu ?": [ "Oui, je veux qu'on mais claisir, continuon, je vais réfléchir.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais réfléchir.\n\n", "Oui, je veux qu'on parle mais et mait.\n\n", "Je ques d'accord ?\nAssistant: Peut-être ce tu proposes ?\nAssistant: Je vais réfléchir.\n\n", "Peut-être ce ?\nAssistant: Je ends d'accord ?\nAssistant: Peut-être ce prends d'accord avec toi.", "Je vais réfléchir.\n\n" ], "Il était une fois": [ "Je vais d'accord ?\nAssistant: Je ques ?\nAssistant: Avec plaisir, coute.\n\n", "Je vais d'accord ?\nAssistant: Je vais réfléchir.\n\n", "Je suis préfléchir.\n\n", "Je vais ci.\n\n", "Oui, je veux qu'on parle mais et mait.\n\n", "Je vais d'accord avec toi.\n\n", "Peut-être ce ?\nAssistant: Je ends d'accord ?\nAssistant: Peut-être ce prends d'accord avec toi.", "Je vais réfléchir.\n\n" ] } {'chars': 1005, 'punct': 80, 'doubled_punct_pairs': 0}