Upload liqi files

0ab2566 verified 1 day ago

3.08 kB

"""Configuration for CoT data generation (local vLLM inference)."""

# ========================= Model Config =========================
# MODEL_PATH = "/data/oss_bucket_0/wuxiangyang/model/Qwen3.5-397B-A17B"
MODEL_PATH = "/data/oss_bucket_0/planck/hf_models/Qwen3.6-27B"
TENSOR_PARALLEL_SIZE = 1          # 4x A800 80GB
GPU_MEMORY_UTILIZATION = 0.90     # vLLM GPU内存占用比例
MAX_MODEL_LEN = 16384              # 模型最大上下文长度

# ========================= Data Paths =========================
INPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/shaixuan_train.json"
OUTPUT_DIR = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/"
OUTPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/shaixuan_train_cot.jsonl"
FAILED_LOG_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/failed_records.jsonl"

# ========================= Image Config =========================
# 本地图片存放目录，子路径为数据集中的 query_tfsid / pos_item_tfsids / neg_item_tfsids 字段
IMAGE_CDN_PREFIX = "/data/oss_bucket_0/peifeng/multi_vlm2vec/dataset/merge/image/"
# 单张图片最大像素数（宽x高），超过则等比缩放。Qwen3-VL每28x28 patch产生1个token
IMAGE_MAX_PIXELS = 1048576          # ~1024×1024，约1280 tokens/张

# ========================= Prompt Selection Config =========================
# "all": 将所有pos_prompts拆开，每个prompt都和query组成一个新样本（数据扩充）
# "random_one": 从pos_prompts中随机选择一条和图片组成样本，其余抛弃
PROMPT_SELECT_MODE = "random_one"

# ========================= Generation Config =========================
BATCH_SIZE = 32                   # vLLM batch size
MAX_TOKENS = 128                  # CoT生成的最大token数
TEMPERATURE = 0.7
TOP_P = 0.9
SAVE_INTERVAL = 500               # 每处理N条写入一次文件

# ========================= Prompt Template =========================
SYSTEM_PROMPT = """你是一个电商图片搜索的推理助手。给定查询图片和搜索指令，你需要直接输出一段极简的视觉描述文本，仅包含图片中与检索相关的核心视觉特征，用于生成检索向量。"""

COT_PROMPT_TEMPLATE = """用户上传了一张查询图片（第一张为原图，第二张为用户关注的裁剪区域），搜索指令为："{instruction}"
以下商品标题仅帮助你理解图中物品是什么，不要在输出中提及这些标题：
{pos_titles}
请直接输出1-2句话，结合搜索指令的意图，描述图片中目标物品与指令相关的核心视觉特征（如品类、颜色、款式、材质、图案等），使输出文本能作为图片+指令的语义概括。
严格要求：
- 只输出1-2句视觉描述，不超过50字
- 重点描述与搜索指令相关的视觉特征，而非图片所有内容
- 直接描述你看到的内容，不要出现"用户想找""指令要求""参考标题"等分析性表述
- 不要复述搜索指令或商品标题原文
- 不要使用编号、分点或任何格式标记"""

	"""Configuration for CoT data generation (local vLLM inference)."""

	# ========================= Model Config =========================
	# MODEL_PATH = "/data/oss_bucket_0/wuxiangyang/model/Qwen3.5-397B-A17B"
	MODEL_PATH = "/data/oss_bucket_0/planck/hf_models/Qwen3.6-27B"
	TENSOR_PARALLEL_SIZE = 1 # 4x A800 80GB
	GPU_MEMORY_UTILIZATION = 0.90 # vLLM GPU内存占用比例
	MAX_MODEL_LEN = 16384 # 模型最大上下文长度

	# ========================= Data Paths =========================
	INPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/shaixuan_train.json"
	OUTPUT_DIR = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/"
	OUTPUT_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/shaixuan_train_cot.jsonl"
	FAILED_LOG_PATH = "/data/oss_bucket_0/liqi/dataset/embedding_pf/cot_output_new/failed_records.jsonl"

	# ========================= Image Config =========================
	# 本地图片存放目录，子路径为数据集中的 query_tfsid / pos_item_tfsids / neg_item_tfsids 字段
	IMAGE_CDN_PREFIX = "/data/oss_bucket_0/peifeng/multi_vlm2vec/dataset/merge/image/"
	# 单张图片最大像素数（宽x高），超过则等比缩放。Qwen3-VL每28x28 patch产生1个token
	IMAGE_MAX_PIXELS = 1048576 # ~1024×1024，约1280 tokens/张

	# ========================= Prompt Selection Config =========================
	# "all": 将所有pos_prompts拆开，每个prompt都和query组成一个新样本（数据扩充）
	# "random_one": 从pos_prompts中随机选择一条和图片组成样本，其余抛弃
	PROMPT_SELECT_MODE = "random_one"

	# ========================= Generation Config =========================
	BATCH_SIZE = 32 # vLLM batch size
	MAX_TOKENS = 128 # CoT生成的最大token数
	TEMPERATURE = 0.7
	TOP_P = 0.9
	SAVE_INTERVAL = 500 # 每处理N条写入一次文件

	# ========================= Prompt Template =========================
	SYSTEM_PROMPT = """你是一个电商图片搜索的推理助手。给定查询图片和搜索指令，你需要直接输出一段极简的视觉描述文本，仅包含图片中与检索相关的核心视觉特征，用于生成检索向量。"""

	COT_PROMPT_TEMPLATE = """用户上传了一张查询图片（第一张为原图，第二张为用户关注的裁剪区域），搜索指令为："{instruction}"

	以下商品标题仅帮助你理解图中物品是什么，不要在输出中提及这些标题：
	{pos_titles}

	请直接输出1-2句话，结合搜索指令的意图，描述图片中目标物品与指令相关的核心视觉特征（如品类、颜色、款式、材质、图案等），使输出文本能作为图片+指令的语义概括。

	严格要求：
	- 只输出1-2句视觉描述，不超过50字
	- 重点描述与搜索指令相关的视觉特征，而非图片所有内容
	- 直接描述你看到的内容，不要出现"用户想找""指令要求""参考标题"等分析性表述
	- 不要复述搜索指令或商品标题原文
	- 不要使用编号、分点或任何格式标记"""