Add new MultiVectorEncoder model

d905f99 verified 3 days ago

572 Bytes

{
    "skiplist_words": [
        "!",
        "\"",
        "#",
        "$",
        "%",
        "&",
        "'",
        "(",
        ")",
        "*",
        "+",
        ",",
        "-",
        ".",
        "/",
        ":",
        ";",
        "<",
        "=",
        ">",
        "?",
        "@",
        "[",
        "\\",
        "]",
        "^",
        "_",
        "`",
        "{",
        "|",
        "}",
        "~"
    ],
    "skiplist_tasks": [
        "document"
    ],
    "keep_only_token_ids": null
}

	{
	"skiplist_words": [
	"!",
	"\"",
	"#",
	"$",
	"%",
	"&",
	"'",
	"(",
	")",
	"*",
	"+",
	",",
	"-",
	".",
	"/",
	":",
	";",
	"<",
	"=",
	">",
	"?",
	"@",
	"[",
	"\\",
	"]",
	"^",
	"_",
	"`",
	"{",
	"\|",
	"}",
	"~"
	],
	"skiplist_tasks": [
	"document"
	],
	"keep_only_token_ids": null
	}