cotdata_testset_0727.json 数据说明
0727版本测试集数据统计:
| 标签 | 数量 | 占比 |
|---|---|---|
| 颞窗穿透不良 | 22 | 0.0957 |
| 湍流 | 32 | 0.1391 |
| 涡流 | 109 | 0.4739 |
| 心律不齐 | 21 | 0.0913 |
| 轻度狭窄 | 81 | 0.3522 |
| 中度狭窄 | 51 | 0.2217 |
| 重度狭窄 | 102 | 0.4435 |
| 闭塞 | 70 | 0.3043 |
| 烟雾病 | 14 | 0.0609 |
| 短弧线 | 28 | 0.1217 |
| 盗血 | 45 | 0.1957 |
| 交通动脉开放 | 55 | 0.2391 |
| 收缩期切迹 | 37 | 0.1609 |
| 颈内动脉发出眼动脉之前 | 47 | 0.2043 |
| 颈内动脉发出眼动脉之后 | 18 | 0.0783 |
0727版本测试集更新:
以0616的原始数据为基础,重新全流程制作测试集。作如下修改:
- 同一条血管仅取最后一张图像(done)
- 把MCA,ACA里面带M2/P1的这些全删掉(done)
- 添加血流方向(朝向/背离探头),部分参数保留两位小数,其余整数(done)
- 剔除发泡(done)
- 改cot prompt(done)
- 删除group(done)
- 添加 (done)
- 图像的地址(done)
- 关键词的表达优化(done)
def clean_caption(caption):
# 0624更新,把MCA,ACA里面带M2/P1的这些全删掉
caption = caption.replace("中动脉M2段", "中动脉")
caption = caption.replace("中动脉远端", "中动脉")
caption = caption.replace("前动脉A1段", "前动脉")
caption = caption.replace("后动脉P2段", "后动脉")
caption = caption.replace("椎动脉颅内段", "椎动脉")
caption = caption.replace("椎动脉颅外段", "椎动脉")
# 0708更新,以下说法进行统一
caption = caption.replace("未见明显异常", "未见异常")
caption = caption.replace("可探及血管未见异常", "未见异常")
caption = caption.replace("可探及血管检查未见异常", "未见异常")
caption = caption.replace("TCD探及血管未见异常", "TCD检查未见异常")
caption = caption.replace("双侧颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常")
caption = caption.replace("余TCD未见异常", "TCD检查未见异常")
caption = caption.replace("TCD未见异常", "TCD检查未见异常")
caption = caption.replace("余未见异常", "TCD检查未见异常")
caption = caption.replace("余颅内主干动脉血管未见异常", "TCD检查未见异常")
caption = caption.replace("双侧眼动脉、颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常")
caption = caption.replace("TCD所探及血管未见异常", "TCD检查未见异常")
caption = caption.replace("双侧颈内动脉虹吸段、眼动脉、椎动脉及基底动脉未见异常", "TCD检查未见异常")
caption = caption.replace("湍 流", "湍流")
caption = caption.replace("段弧线", "短弧线")
caption = caption.replace("心律失常", "心律不齐")
caption = caption.replace("狭窄(轻度)", "轻度狭窄")
caption = caption.replace("狭窄(中度)", "中度狭窄")
caption = caption.replace("狭窄(重度)", "重度狭窄")
caption = caption.replace("收缩期可见", "可见收缩期")
caption = caption.replace("收缩期压迹", "收缩期切迹")
caption = caption.replace("左颈内动脉", "左侧颈内动脉")
caption = caption.replace("右颈内动脉", "右侧颈内动脉")
caption = caption.replace("交通动脉部分开放", "交通动脉开放")
caption = caption.replace("后交通开放", "后交通动脉开放")
caption = caption.replace("前交通开放", "前交通动脉开放")
caption = caption.replace("moyamoya", "烟雾病")
caption = caption.replace("颅底异常血管网", "烟雾病")
caption = caption.replace("烟雾综合征", "烟雾病")
caption = caption.replace("烟雾血管综合征", "烟雾病")
caption = caption.replace("烟雾病血管改变", "烟雾病")
return caption
- 部分案例的GT需要单独修改:
136756 椎动脉所见异常,提示没有出现:(DONE)
是原始数据的提示本身就存在遗漏。后续考虑请医生修改样本GT,或删除该样本
修改方式:保留原样
31147 LPCA缺失:(DONE)
原始数据所见处仅写了“左侧大脑后血流速度增快",而且本身GT中也缺失LPCA的描述。后续考虑请医生修改样本GT,或删除该样本
修改办法:仅将 "左侧大脑后血流速度增快" 修改成 "左侧大脑后动脉血流速度增快", GT不变
check_id 17095: (DONE)
RMCA/RACA所见异常,但提示中没有对应描述
修改方式:保留原样
checkid:180459
(DONE)
- 基底动脉数据缺失:这是因为原案例中提示处是“基底动脉远端”,对应的图像却只有“基底动脉近端”,现在的清洗脚本在判断基底动脉是否缺失的时候,规则存在一定缺漏,导致既没用到近端图像,又没删掉远端这句所见。将优化。但整个测试集基底动脉类似的清洗遗漏案例,只有这一个样本
修改办法:手动修改样本,把 "基底动脉远端" 改成基底动脉
check_id:294890
- 右中右前狭窄nodata原因:对应caption为"右侧大脑中动脉、前动脉未探及确切血流频谱",这一句作为所见drop掉,但因为有“未探及”而被保留于检查过程信息。当前脚本,在考虑“未探及”案例的前后对应时,还是有逻辑遗漏,导致没有剔除掉输入未探及,但输出有探及的情况。后续也进行修改
修改办法:手动在Impression里把"右侧大脑中、前动脉重度狭窄或慢性闭塞。\n"删掉
评测脚本待更新:
- 盗血位置和综合征123期,各自算0.5分
- 只要模型没有预测出16个标签里在GT的标签,都算未见异常
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support