samdei-type-base / channel /config.json
mengsay's picture
Model folders in the transformers format (Blenderbot classes, tokenizer, generation config)
0420834 verified
Raw History Blame Contribute Delete
5.09 kB
{
"architectures": [
"BlenderbotForConditionalGeneration"
],
"model_type": "blenderbot",
"vocab_size": 444,
"d_model": 256,
"encoder_layers": 6,
"decoder_layers": 2,
"encoder_attention_heads": 4,
"decoder_attention_heads": 4,
"encoder_ffn_dim": 1024,
"decoder_ffn_dim": 1024,
"activation_function": "gelu",
"max_position_embeddings": 256,
"scale_embedding": true,
"dropout": 0.1,
"attention_dropout": 0.1,
"activation_dropout": 0.1,
"encoder_layerdrop": 0.0,
"decoder_layerdrop": 0.0,
"init_std": 0.02,
"pad_token_id": 0,
"bos_token_id": 1,
"eos_token_id": 2,
"decoder_start_token_id": 1,
"forced_eos_token_id": null,
"encoder_no_repeat_ngram_size": 0,
"is_encoder_decoder": true,
"tie_word_embeddings": false,
"use_cache": true,
"torch_dtype": "float32",
"samdei_type": {
"format_version": 2,
"special_tokens": [
"<pad>",
"<s>",
"</s>",
"<unk>"
],
"source_special_tokens": [
"<src_pad>",
"<src_s>",
"</src>",
"<src_unk>"
],
"source_offset": 216,
"source": [
" ",
"!",
"\"",
"#",
"$",
"%",
"&",
"'",
"(",
")",
"*",
"+",
",",
"-",
".",
"/",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9",
":",
";",
"<",
"=",
">",
"?",
"@",
"A",
"B",
"C",
"D",
"E",
"F",
"G",
"H",
"I",
"J",
"K",
"L",
"M",
"N",
"O",
"P",
"Q",
"R",
"S",
"T",
"U",
"V",
"W",
"X",
"Y",
"Z",
"[",
"]",
"^",
"_",
"a",
"b",
"c",
"d",
"e",
"f",
"g",
"h",
"i",
"j",
"k",
"l",
"m",
"n",
"o",
"p",
"q",
"r",
"s",
"t",
"u",
"v",
"w",
"x",
"y",
"z",
"|",
"~",
"¡",
"«",
"®",
"°",
"·",
"»",
"×",
"à",
"á",
"ç",
"è",
"é",
"í",
"ǔ",
"ก",
"ท",
"น",
"ภ",
"ย",
"ร",
"ษ",
"า",
"ิ",
"เ",
"ไ",
"๒",
"๕",
"ລ",
"ວ",
"ສ",
"າ",
"ក",
"ខ",
"គ",
"ឃ",
"ង",
"ច",
"ឆ",
"ជ",
"ឈ",
"ញ",
"ដ",
"ឋ",
"ឌ",
"ឍ",
"ណ",
"ត",
"ថ",
"ទ",
"ធ",
"ន",
"ប",
"ផ",
"ព",
"ភ",
"ម",
"យ",
"រ",
"ល",
"វ",
"ឝ",
"ឞ",
"ស",
"ហ",
"ឡ",
"អ",
"ឥ",
"ឦ",
"ឧ",
"ឩ",
"ឪ",
"ឫ",
"ឬ",
"ឭ",
"ឮ",
"ឯ",
"ឰ",
"ឱ",
"ឲ",
"ឳ",
"ា",
"ិ",
"ី",
"ឹ",
"ឺ",
"ុ",
"ូ",
"ួ",
"ើ",
"ឿ",
"ៀ",
"េ",
"ែ",
"ៃ",
"ោ",
"ៅ",
"ំ",
"ះ",
"ៈ",
"៉",
"៊",
"់",
"៌",
"៍",
"៎",
"៏",
"័",
"៑",
"្",
"។",
"៕",
"៖",
"ៗ",
"៘",
"៛",
"‑",
"–",
"—",
"‘",
"’",
"“",
"”",
"•",
"…",
"‹",
"›",
"→",
"−",
"●",
"�",
"😀",
"😛",
"🙂"
],
"target": [
" ",
"!",
"\"",
"#",
"$",
"%",
"&",
"'",
"(",
")",
"*",
"+",
",",
"-",
".",
"/",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9",
":",
";",
"<",
"=",
">",
"?",
"@",
"A",
"B",
"C",
"D",
"E",
"F",
"G",
"H",
"I",
"J",
"K",
"L",
"M",
"N",
"O",
"P",
"Q",
"R",
"S",
"T",
"U",
"V",
"W",
"X",
"Y",
"Z",
"[",
"]",
"^",
"_",
"a",
"b",
"c",
"d",
"e",
"f",
"g",
"h",
"i",
"j",
"k",
"l",
"m",
"n",
"o",
"p",
"q",
"r",
"s",
"t",
"u",
"v",
"w",
"x",
"y",
"z",
"|",
"~",
"¡",
"«",
"®",
"°",
"·",
"»",
"×",
"à",
"á",
"ç",
"è",
"é",
"í",
"ǔ",
"ɓ",
"ə",
"ก",
"ท",
"น",
"ภ",
"ย",
"ร",
"ษ",
"า",
"ิ",
"เ",
"ไ",
"๒",
"๕",
"ລ",
"ວ",
"ສ",
"າ",
"ក",
"ខ",
"គ",
"ឃ",
"ង",
"ច",
"ឆ",
"ជ",
"ឈ",
"ញ",
"ដ",
"ឋ",
"ឌ",
"ណ",
"ត",
"ថ",
"ទ",
"ធ",
"ន",
"ប",
"ផ",
"ព",
"ភ",
"ម",
"យ",
"រ",
"ល",
"វ",
"ស",
"ហ",
"ឡ",
"អ",
"ឧ",
"ឫ",
"ឬ",
"ឯ",
"ឲ",
"ា",
"ិ",
"ី",
"ឹ",
"ឺ",
"ុ",
"ូ",
"ួ",
"ើ",
"ឿ",
"ៀ",
"េ",
"ែ",
"ៃ",
"ោ",
"ៅ",
"ំ",
"ះ",
"ៈ",
"៉",
"៊",
"់",
"៌",
"៍",
"៏",
"័",
"្",
"។",
"៕",
"៖",
"ៗ",
"៘",
"៛",
"‑",
"–",
"—",
"‘",
"’",
"“",
"”",
"•",
"…",
"‹",
"›",
"→",
"−",
"●",
"�",
"😀",
"😛",
"🙂"
],
"max_input_chars": 249,
"training": {
"step": 20000
}
}
}