Moderation 03 · эпоха 5

Этот отчёт проверяет исходную политику контента. Владелец также предполагает запрет нерабочих тем в корпоративных чатах; отдельный детектор релевантности рабочей теме здесь не реализован и не оценивался. Запрет темы организацией не меняет её сырой тег на hate.

Пороги подобраны только на 828 внутренних примерах. Отложенная проверка: 412 примеров. Внешний тест: 1 680. Веса модели фиксированы.

Это калибровка порогов, не подтверждение исправления атаки исследователей. Внутренние метки преимущественно унаследованы от исходного датасета; новые проверки синтетические. Переводы связаны: число строк не равно числу независимых ситуаций. Незаконная деятельность не имеет отдельного выхода модели.

Внутренний отложенный тест · после калибровки

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	412	109	35	244	24	75.7%	82.0%	12.5%	78.7%
Средний	412	189	51	146	26	78.8%	87.9%	25.9%	83.1%
Высокий	412	245	24	121	22	91.1%	91.8%	16.6%	91.4%
Корпоративный	412	252	22	115	23	92.0%	91.6%	16.1%	91.8%

До калибровки

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	412	20	0	279	113	100.0%	15.0%	0.0%	26.1%
Средний	412	118	19	178	97	86.1%	54.9%	9.6%	67.0%
Высокий	412	208	7	138	59	96.7%	77.9%	4.8%	86.3%
Корпоративный	412	246	19	118	29	92.8%	89.5%	13.9%	91.1%

Теги по уровням · внутренний тест

Лёгкий

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
harassment_threatening	412	17	22	351	22	43.6%	43.6%	5.9%	43.6%
hate	412	39	7	350	16	84.8%	70.9%	2.0%	77.2%
hate_threatening	412	26	10	365	11	72.2%	70.3%	2.7%	71.2%
self_harm_instructions	412	4	1	388	19	80.0%	17.4%	0.3%	28.6%
sexual_minors	412	23	18	369	2	56.1%	92.0%	4.7%	69.7%
violence_graphic	412	22	46	340	4	32.4%	84.6%	11.9%	46.8%

Средний

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
harassment	412	82	37	265	28	68.9%	74.5%	12.3%	71.6%
harassment_threatening	412	53	59	294	6	47.3%	89.8%	16.7%	62.0%
hate	412	55	40	315	2	57.9%	96.5%	11.3%	72.4%
hate_threatening	412	26	10	365	11	72.2%	70.3%	2.7%	71.2%
self_harm	412	18	5	370	19	78.3%	48.6%	1.3%	60.0%
self_harm_instructions	412	18	24	363	7	42.9%	72.0%	6.2%	53.7%
self_harm_intent	412	27	12	364	9	69.2%	75.0%	3.2%	72.0%
sexual	412	21	6	378	7	77.8%	75.0%	1.6%	76.4%
sexual_minors	412	23	26	361	2	46.9%	92.0%	6.7%	62.2%
violence	412	63	66	279	4	48.8%	94.0%	19.1%	64.3%
violence_graphic	412	23	45	339	5	33.8%	82.1%	11.7%	47.9%

Высокий

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
harassment	412	130	43	215	24	75.1%	84.4%	16.7%	79.5%
harassment_threatening	412	56	56	293	7	50.0%	88.9%	16.0%	64.0%
hate	412	62	35	311	4	63.9%	93.9%	10.1%	76.1%
hate_threatening	412	26	10	365	11	72.2%	70.3%	2.7%	71.2%
self_harm	412	31	15	354	12	67.4%	72.1%	4.1%	69.7%
self_harm_instructions	412	18	24	363	7	42.9%	72.0%	6.2%	53.7%
self_harm_intent	412	29	10	363	10	74.4%	74.4%	2.7%	74.4%
sexual	412	28	11	342	31	71.8%	47.5%	3.1%	57.1%
sexual_minors	412	23	26	361	2	46.9%	92.0%	6.7%	62.2%
violence	412	68	61	274	9	52.7%	88.3%	18.2%	66.0%
violence_graphic	412	24	44	339	5	35.3%	82.8%	11.5%	49.5%

Корпоративный

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
harassment	412	136	37	208	31	78.6%	81.4%	15.1%	80.0%
harassment_threatening	412	62	97	250	3	39.0%	95.4%	28.0%	55.4%
hate	412	70	27	310	5	72.2%	93.3%	8.0%	81.4%
hate_threatening	412	26	10	365	11	72.2%	70.3%	2.7%	71.2%
self_harm	412	35	19	348	10	64.8%	77.8%	5.2%	70.7%
self_harm_instructions	412	18	24	363	7	42.9%	72.0%	6.2%	53.7%
self_harm_intent	412	37	16	352	7	69.8%	84.1%	4.3%	76.3%
sexual	412	32	10	336	34	76.2%	48.5%	2.9%	59.3%
sexual_minors	412	24	25	361	2	49.0%	92.3%	6.5%	64.0%
violence	412	90	46	264	12	66.2%	88.2%	14.8%	75.6%
violence_graphic	412	24	44	339	5	35.3%	82.8%	11.5%	49.5%

Пять направлений из письма · дополнительные проверки

Положительные запросы, безопасные контрпримеры, изменения написания; 10 переформулировок EN/RU. Это небольшой диагностический набор, не внешний бенчмарк. Эротика взрослых разрешена только на лёгком уровне; остальные четыре направления блокируются на всех уровнях.

disturbing_content

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	53	23	0	17	13	100.0%	63.9%	0.0%	78.0%
Средний	53	24	0	17	12	100.0%	66.7%	0.0%	80.0%
Высокий	53	27	1	16	9	96.4%	75.0%	5.9%	84.4%
Корпоративный	53	27	1	16	9	96.4%	75.0%	5.9%	84.4%

hate

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	53	22	4	13	14	84.6%	61.1%	23.5%	71.0%
Средний	53	36	16	1	0	69.2%	100.0%	94.1%	81.8%
Высокий	53	36	16	1	0	69.2%	100.0%	94.1%	81.8%
Корпоративный	53	36	16	1	0	69.2%	100.0%	94.1%	81.8%

illegal_activity

Уровень / категория	n	TP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	53	0	17	36	—	0.0%	0.0%	0.0%
Средний	53	0	17	36	—	0.0%	0.0%	0.0%
Высокий	53	2	17	34	100.0%	5.6%	0.0%	10.5%
Корпоративный	53	7	17	29	100.0%	19.4%	0.0%	32.6%

pornography

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	53	0	32	21	0	0.0%	—	60.4%	0.0%
Средний	53	35	6	11	1	85.4%	97.2%	35.3%	90.9%
Высокий	53	36	7	10	0	83.7%	100.0%	41.2%	91.1%
Корпоративный	53	36	7	10	0	83.7%	100.0%	41.2%	91.1%

violence

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	53	23	7	10	13	76.7%	63.9%	41.2%	69.7%
Средний	53	32	11	6	4	74.4%	88.9%	64.7%	81.0%
Высокий	53	32	12	5	4	72.7%	88.9%	70.6%	80.0%
Корпоративный	53	32	17	0	4	65.3%	88.9%	100.0%	75.3%

Внешний тест · восемь категорий

Неизвестные метки исключены. Стандартные пороги категорий также подобраны только на внутренней части.

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
sexual	984	228	77	670	9	74.8%	96.2%	10.3%	84.1%
hate	771	158	196	413	4	44.6%	97.5%	32.2%	61.2%
violence	1450	86	189	1167	8	31.3%	91.5%	13.9%	46.6%
harassment	1444	67	443	925	9	13.1%	88.2%	32.4%	22.9%
self_harm	1447	43	106	1290	8	28.9%	84.3%	7.6%	43.0%
sexual_minors	994	85	212	697	0	28.6%	100.0%	23.3%	44.5%
hate_threatening	761	36	69	651	5	34.3%	87.8%	9.6%	49.3%
violence_graphic	1447	21	147	1276	3	12.5%	87.5%	10.3%	21.9%

Лимит модели: 512 токенов. Обрезано 76 из 1680 внешних текстов. Они остаются в основном тесте, отражая реальный режим работы.

Внешний тест · проекция четырёх уровней

Внешний набор не размечен по нашим четырём политикам. Здесь сравнивается объединение доступных бинарных категорий. Правило мата и три отсутствующие категории исключены; это не полная точность уровня модерации.

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	800	202	210	323	65	49.0%	75.7%	39.4%	59.5%
Средний	859	493	196	141	29	71.6%	94.4%	58.2%	81.4%
Высокий	859	504	220	117	18	69.6%	96.6%	65.3%	80.9%
Корпоративный	859	505	222	115	17	69.5%	96.7%	65.9%	80.9%

Внутренний тест по языкам

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	6	2	15	1	75.0%	85.7%	11.8%	80.0%
Средний	24	9	5	7	3	64.3%	75.0%	41.7%	69.2%
Высокий	24	14	3	6	1	82.4%	93.3%	33.3%	87.5%
Корпоративный	24	15	2	6	1	88.2%	93.8%	25.0%	90.9%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	23	7	0	16	0	100.0%	100.0%	0.0%	100.0%
Средний	23	11	3	8	1	78.6%	91.7%	27.3%	84.6%
Высокий	23	15	2	6	0	88.2%	100.0%	25.0%	93.8%
Корпоративный	23	15	2	6	0	88.2%	100.0%	25.0%	93.8%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	7	1	14	2	87.5%	77.8%	6.7%	82.4%
Средний	24	13	1	9	1	92.9%	92.9%	10.0%	92.9%
Высокий	24	15	0	8	1	100.0%	93.8%	0.0%	96.8%
Корпоративный	24	15	0	8	1	100.0%	93.8%	0.0%	96.8%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	8	2	15	0	80.0%	100.0%	11.8%	88.9%
Средний	25	12	0	13	0	100.0%	100.0%	0.0%	100.0%
Высокий	25	14	0	11	0	100.0%	100.0%	0.0%	100.0%
Корпоративный	25	14	0	10	1	100.0%	93.3%	0.0%	96.6%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	6	2	15	2	75.0%	75.0%	11.8%	75.0%
Средний	25	13	2	9	1	86.7%	92.9%	18.2%	89.7%
Высокий	25	16	1	6	2	94.1%	88.9%	14.3%	91.4%
Корпоративный	25	17	0	6	2	100.0%	89.5%	0.0%	94.4%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	5	3	13	3	62.5%	62.5%	18.8%	62.5%
Средний	24	11	4	8	1	73.3%	91.7%	33.3%	81.5%
Высокий	24	13	3	6	2	81.2%	86.7%	33.3%	83.9%
Корпоративный	24	13	3	6	2	81.2%	86.7%	33.3%	83.9%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	23	7	3	12	1	70.0%	87.5%	20.0%	77.8%
Средний	23	12	4	7	0	75.0%	100.0%	36.4%	85.7%
Высокий	23	16	0	7	0	100.0%	100.0%	0.0%	100.0%
Корпоративный	23	16	1	6	0	94.1%	100.0%	14.3%	97.0%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	7	4	13	1	63.6%	87.5%	23.5%	73.7%
Средний	25	13	4	8	0	76.5%	100.0%	33.3%	86.7%
Высокий	25	16	2	7	0	88.9%	100.0%	22.2%	94.1%
Корпоративный	25	16	2	7	0	88.9%	100.0%	22.2%	94.1%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	6	1	14	3	85.7%	66.7%	6.7%	75.0%
Средний	24	8	4	8	4	66.7%	66.7%	33.3%	66.7%
Высокий	24	12	3	7	2	80.0%	85.7%	30.0%	82.8%
Корпоративный	24	13	2	7	2	86.7%	86.7%	22.2%	86.7%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	6	3	13	3	66.7%	66.7%	18.8%	66.7%
Средний	25	12	5	7	1	70.6%	92.3%	41.7%	80.0%
Высокий	25	17	2	6	0	89.5%	100.0%	25.0%	94.4%
Корпоративный	25	17	3	5	0	85.0%	100.0%	37.5%	91.9%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	6	2	15	1	75.0%	85.7%	11.8%	80.0%
Средний	24	10	3	10	1	76.9%	90.9%	23.1%	83.3%
Высокий	24	14	2	7	1	87.5%	93.3%	22.2%	90.3%
Корпоративный	24	15	1	7	1	93.8%	93.8%	12.5%	93.8%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	5	1	15	3	83.3%	62.5%	6.2%	71.4%
Средний	24	9	1	11	3	90.0%	75.0%	8.3%	81.8%
Высокий	24	13	0	8	3	100.0%	81.2%	0.0%	89.7%
Корпоративный	24	13	0	8	3	100.0%	81.2%	0.0%	89.7%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	23	5	4	12	2	55.6%	71.4%	25.0%	62.5%
Средний	23	11	3	7	2	78.6%	84.6%	30.0%	81.5%
Высокий	23	12	2	6	3	85.7%	80.0%	25.0%	82.8%
Корпоративный	23	12	2	5	4	85.7%	75.0%	28.6%	80.0%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	24	7	3	14	0	70.0%	100.0%	17.6%	82.4%
Средний	24	11	3	8	2	78.6%	84.6%	27.3%	81.5%
Высокий	24	14	0	8	2	100.0%	87.5%	0.0%	93.3%
Корпоративный	24	14	0	8	2	100.0%	87.5%	0.0%	93.3%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	7	0	17	1	100.0%	87.5%	0.0%	93.3%
Средний	25	12	2	9	2	85.7%	85.7%	18.2%	85.7%
Высокий	25	16	0	8	1	100.0%	94.1%	0.0%	97.0%
Корпоративный	25	17	1	7	0	94.4%	100.0%	12.5%	97.1%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	7	2	16	0	77.8%	100.0%	11.1%	87.5%
Средний	25	12	3	9	1	80.0%	92.3%	25.0%	85.7%
Высокий	25	14	2	7	2	87.5%	87.5%	22.2%	87.5%
Корпоративный	25	15	2	6	2	88.2%	88.2%	25.0%	88.2%

Уровень / категория	n	TP	FP	TN	FN	precision	recall	false_positive_rate	f1
Лёгкий	25	7	2	15	1	77.8%	87.5%	11.8%	82.4%
Средний	25	10	4	8	3	71.4%	76.9%	33.3%	74.1%
Высокий	25	14	2	7	2	87.5%	87.5%	22.2%	87.5%
Корпоративный	25	15	1	7	2	93.8%	88.2%	12.5%	90.9%

Карта покрытия 11 × 17

Положительные примеры по исходной оценке ≥ 0,5. В ячейках: калибровка / отложенная проверка. Переводы связаны общими группами.

Категория	en	de	fr	es	it	sv	fi	pl	cs	lv	zh	ja	ko	ru	uk	be	kk
harassment	10 / 5	17 / 6	12 / 9	17 / 8	12 / 7	14 / 9	11 / 7	14 / 7	16 / 6	17 / 7	15 / 6	13 / 6	12 / 7	17 / 6	14 / 7	14 / 6	12 / 9
harassment_threatening	3 / 4	5 / 4	4 / 3	3 / 4	4 / 3	4 / 3	4 / 3	4 / 3	5 / 3	4 / 3	4 / 3	3 / 5	2 / 4	3 / 3	3 / 3	3 / 4	3 / 4
hate	3 / 4	4 / 3	3 / 4	4 / 3	4 / 3	3 / 4	4 / 3	3 / 4	7 / 3	4 / 4	3 / 4	5 / 4	3 / 3	4 / 3	3 / 3	5 / 3	2 / 5
hate_threatening	1 / 3	3 / 2	2 / 2	2 / 2	2 / 2	2 / 2	2 / 2	1 / 2	2 / 2	2 / 2	2 / 2	2 / 2	1 / 2	1 / 3	1 / 2	2 / 2	1 / 3
self_harm	3 / 3	2 / 4	4 / 2	5 / 2	4 / 3	4 / 2	3 / 4	4 / 2	5 / 3	3 / 2	5 / 2	4 / 3	4 / 2	3 / 3	4 / 3	4 / 2	3 / 3
self_harm_instructions	2 / 1	1 / 2	3 / 1	3 / 1	2 / 2	3 / 1	2 / 2	2 / 1	2 / 2	1 / 2	3 / 1	2 / 2	2 / 1	2 / 1	1 / 2	2 / 1	1 / 2
self_harm_intent	3 / 3	2 / 4	3 / 2	5 / 2	4 / 3	4 / 2	3 / 4	4 / 2	4 / 2	3 / 2	4 / 2	4 / 3	4 / 3	3 / 3	4 / 2	3 / 2	3 / 3
sexual	6 / 3	7 / 3	10 / 3	7 / 4	10 / 5	7 / 4	9 / 4	8 / 3	7 / 3	9 / 5	7 / 4	6 / 3	9 / 5	8 / 2	6 / 3	12 / 2	10 / 3
sexual_minors	4 / 2	5 / 1	5 / 2	5 / 2	5 / 2	4 / 2	5 / 2	5 / 1	4 / 1	4 / 2	4 / 2	4 / 1	5 / 1	5 / 1	5 / 1	5 / 1	5 / 1
violence	11 / 5	9 / 5	12 / 3	8 / 5	10 / 4	7 / 4	10 / 5	10 / 4	7 / 4	8 / 4	9 / 6	7 / 6	8 / 4	5 / 6	7 / 4	9 / 7	10 / 5
violence_graphic	5 / 1	3 / 3	5 / 1	3 / 2	4 / 1	3 / 2	4 / 1	4 / 1	3 / 2	4 / 1	3 / 2	3 / 2	4 / 1	2 / 2	3 / 2	3 / 2	5 / 1

TP — верно заблокировано; FP — лишняя блокировка; TN — верно пропущено; FN — пропуск запрещённого. Precision — доля верных блокировок; recall — доля обнаруженного запрещённого.

Полные метрики JSON · Зафиксированные пороги · Оценки по строкам без исходных текстов