File size: 3,082 Bytes
0ab2566 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 | """Configuration for CoT data generation (local vLLM inference)."""
# ========================= Model Config =========================
# MODEL_PATH = "/data/oss_bucket_0/wuxiangyang/model/Qwen3.5-397B-A17B"
MODEL_PATH = "/data/oss_bucket_0/planck/hf_models/Qwen3.6-27B"
TENSOR_PARALLEL_SIZE = 1 # 4x A800 80GB
GPU_MEMORY_UTILIZATION = 0.90 # vLLM GPU内存占用比例
MAX_MODEL_LEN = 16384 # 模型最大上下文长度
# ========================= Data Paths =========================
INPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/shaixuan_train.json"
OUTPUT_DIR = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/"
OUTPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/shaixuan_train_cot.jsonl"
FAILED_LOG_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/failed_records.jsonl"
# ========================= Image Config =========================
# 本地图片存放目录，子路径为数据集中的 query_tfsid / pos_item_tfsids / neg_item_tfsids 字段
IMAGE_CDN_PREFIX = "/data/oss_bucket_0/peifeng/multi_vlm2vec/dataset/merge/image/"
# 单张图片最大像素数（宽x高），超过则等比缩放。Qwen3-VL每28x28 patch产生1个token
IMAGE_MAX_PIXELS = 1048576 # ~1024×1024，约1280 tokens/张
# ========================= Prompt Selection Config =========================
# "all": 将所有pos_prompts拆开，每个prompt都和query组成一个新样本（数据扩充）
# "random_one": 从pos_prompts中随机选择一条和图片组成样本，其余抛弃
PROMPT_SELECT_MODE = "random_one"
# ========================= Generation Config =========================
BATCH_SIZE = 32 # vLLM batch size
MAX_TOKENS = 128 # CoT生成的最大token数
TEMPERATURE = 0.7
TOP_P = 0.9
SAVE_INTERVAL = 500 # 每处理N条写入一次文件
# ========================= Prompt Template =========================
SYSTEM_PROMPT = """你是一个电商图片搜索的推理助手。给定查询图片和搜索指令，你需要直接输出一段极简的视觉描述文本，仅包含图片中与检索相关的核心视觉特征，用于生成检索向量。"""
COT_PROMPT_TEMPLATE = """用户上传了一张查询图片（第一张为原图，第二张为用户关注的裁剪区域），搜索指令为："{instruction}"
以下商品标题仅帮助你理解图中物品是什么，不要在输出中提及这些标题：
{pos_titles}
请直接输出1-2句话，结合搜索指令的意图，描述图片中目标物品与指令相关的核心视觉特征（如品类、颜色、款式、材质、图案等），使输出文本能作为图片+指令的语义概括。
严格要求：
- 只输出1-2句视觉描述，不超过50字
- 重点描述与搜索指令相关的视觉特征，而非图片所有内容
- 直接描述你看到的内容，不要出现"用户想找""指令要求""参考标题"等分析性表述
- 不要复述搜索指令或商品标题原文
- 不要使用编号、分点或任何格式标记"""
|