d3-coreml / lite /coreml_config.json
alexwengg's picture
Add 4,096-token text buckets (prompts up to 4,096 tokens)
62b6a99 verified
Raw History Blame Contribute Delete
2.85 kB
{
"model_name": "lite",
"source": "vllm-sr/lite",
"codes": [
"A",
"B",
"C",
"D",
"E",
"F",
"G",
"H",
"I",
"J",
"K",
"L",
"M",
"N",
"O",
"P",
"Q",
"R",
"S",
"T",
"U",
"V",
"W",
"X",
"Y",
"Z",
"AA",
"AB",
"AC",
"AD",
"AE",
"AF",
"AG",
"AH",
"AI",
"AJ",
"AK",
"AL",
"AM",
"AN",
"AO",
"AP",
"AQ",
"AR",
"AS",
"AT",
"AU",
"AV",
"AW",
"AX",
"AY",
"AZ",
"BA",
"BB",
"BC",
"BD",
"BE",
"BF",
"BG",
"BH",
"BI",
"BJ",
"BK",
"BL",
"BM",
"BN",
"BO",
"BP",
"BR",
"BS",
"BT",
"BU",
"BV",
"BW",
"BX",
"BY",
"CA",
"CB",
"CC",
"CD",
"CE",
"CF",
"CG",
"CH",
"CI",
"CK",
"CL",
"CM",
"CN",
"CO",
"CP",
"CR",
"CS",
"CT",
"CU",
"CV",
"CW",
"CX",
"CY",
"DA",
"DB",
"DC",
"DD",
"DE",
"DF",
"DG",
"DH",
"DI",
"DJ",
"DK",
"DL",
"DM",
"DN",
"DO",
"DP",
"DR",
"DS",
"DT",
"DU",
"DV",
"DW",
"DX",
"DY",
"EA",
"EB",
"EC",
"ED",
"EE",
"EF",
"EG",
"EH",
"EI",
"EK",
"EL",
"EM",
"EN",
"EO",
"EP",
"EQ",
"ER",
"ES",
"ET",
"EU",
"EV",
"EW",
"EX",
"EZ",
"FA",
"FB",
"FC",
"FD",
"FE",
"FF",
"FG",
"FH",
"FI",
"FK",
"FL",
"FM",
"FN",
"FO",
"FP",
"FR",
"FS",
"FT",
"FU",
"FW",
"FX",
"FY",
"GA",
"GB",
"GC",
"GD",
"GE",
"GF",
"GG",
"GH",
"GI",
"GL",
"GM",
"GN",
"GO",
"GP",
"GR",
"GS",
"GT",
"GU",
"GV",
"GW",
"GX",
"GY",
"HA",
"HB",
"HC",
"HD",
"HE",
"HF",
"HG",
"HH",
"HI",
"HK",
"HL",
"HM",
"HN",
"HO",
"HP",
"HQ",
"HR",
"HS",
"HT",
"HU",
"HV",
"HW",
"HX",
"HY",
"HZ",
"IA",
"IB",
"IC",
"ID",
"IE",
"IF",
"IG",
"IH",
"II",
"IJ",
"IK",
"IL",
"IM",
"IN",
"IO",
"IP",
"IQ",
"IR",
"IS",
"IT",
"IU",
"IV",
"IW",
"IX",
"IZ",
"JA",
"JB",
"JC",
"JD",
"JE",
"JI",
"JJ",
"JK",
"JM",
"JO",
"JP",
"JR",
"JS",
"JT"
],
"temperature": 1.0,
"pad_token_id": 248044,
"image_token_id": 248056,
"vision_start_token_id": 248053,
"vision_end_token_id": 248054,
"hidden_size": 1024,
"vocab_size": 248320,
"rope": {
"theta": 10000000,
"rotary_dim": 64,
"mrope_section": [
11,
11,
10
]
},
"vision": {
"patch_size": 16,
"merge_size": 2,
"temporal_patch_size": 2,
"hidden_size": 768,
"num_heads": 12,
"out_hidden_size": 1024,
"num_position_embeddings": 2304,
"rope_theta": 10000.0
},
"image": {
"min_pixels": 65536,
"max_pixels": 1638400,
"mean": [
0.5,
0.5,
0.5
],
"std": [
0.5,
0.5,
0.5
],
"rescale": 0.00392156862745098
},
"vision_buckets": [
320,
1536,
3072
],
"text_buckets": [
256,
640,
1536,
4096
]
}