laya-argus / DATA.md
k1dory's picture
Карточка проекта: решения, данные, стоимость, план, схема конвейера; связь с ARGUS
9af416d verified
|
Raw History Blame Contribute Delete
5.74 kB

Данные

Наборы вопросов

Вопросы фиксированы дословно: при обучении и в работе — одни и те же.

ИБ

Вопрос Тип Варианты
Исход инцидента Choice malicious · benign_authorized · false_positive
Нужна эскалация Noul —
Верна ли критичность Score 1–4
Тактика ATT&CK Choice 14 тактик + «другое»
Техника ATT&CK Choice кандидаты от движка (< 20) + «другое»

DevOps

Вопрос Тип Варианты
Причина Choice диск · память · сеть · процесс упал · конфиг · деплой · внешняя зависимость · ложное срабатывание
Действовать сейчас Noul —
Срочность Score 1–4

Запись в датасете

Одна строка JSONL на инцидент: пакет инцидента (как его видит аналитик: rule_title, level, chain, enrichment, node, actor, для DevOps — отобранный кусок лога), ответ человека по каждому вопросу, полные распределения Opus и Jev (если были), признак blind, pii, источник (prod / emulation / honeypot / chaos / public / synthetic / augmented) и group_id исходного случая для разбиения. Обезличивание — то же, что в движке.

Сколько нужно

Узкое место — самый редкий вариант ответа, а не общая сумма.

  • 30–50 примеров на каждый вариант каждого вопроса;
  • ~300 кейсов на сценарий для обучения (как у авторов Laya: 1 200 на 4);
  • плюс 100–150 на сценарий в отложенную выборку.
Сценарий Размеченных инцидентов Узкое место
ИБ ≈ 400–500, сканов ≤ 50–100 30–50 malicious
DevOps ≈ 300–400 30+ на категорию причины
ATT&CK 30–50 на технику 15–25 техник
Итого ≈ 700–900 + отложенные

Проверка: обучить на 100 / 200 / 300 — если метрики между 200 и 300 почти не растут, больше не собирать.

Источники

Источник Что даёт Куда Ограничения
Реальный поток benign_authorized, false_positive, сканы обучение и проверка атак почти нет
Atomic Red Team, Caldera на тестовых ВМ с argus_agent malicious с техникой ATT&CK по построению обучение и проверка только стенд; поведение «стерильное»
Cowrie / T-Pot на отдельном VPS вне LAN настоящие атакующие сессии после «входа» обучение и проверка в основном боты
Хаос-учения (диск, служба, конфиг, сеть) DevOps-причины по построению обучение и проверка только стенд
CIC-IDS2017/2018, UNSW-NB15 сетевые атаки (близко к NetFlow v9) только обучение чужая среда, нужен конвертер
OTRF Security-Datasets, Splunk attack_data хостовые атаки по техникам только обучение в основном Windows/Sysmon
Синтетика от Opus редкие сценарии только обучение в проверку — никогда
История: Wazuh alerts, разборы в вики прошлые реальные случаи обучение и проверка мало, восстанавливать вручную

Журнал учений («что, где, когда запустили») — и есть разметка; прогоны оформлять ещё и фикстурами для argus rules test.

Докрутка (только обучающая выборка)

Приём Что делает
Подмена полей IP, учётки, хосты, порты, сдвиг времени; из одного случая 5–10
Вклейка в фон цепочка с учений вставляется в реальное окно обычных событий
Возмущение число попыток, удаление несущественных событий, разброс по времени
Двойники атак те же команды от авторизованного админа в окно работ → benign_authorized
Варианты от Opus та же техника, другой инструмент или хост
Мягкие метки распределения Jev/Opus поверх ответа аналитика

Активное обучение

В очередь разметки первыми идут инциденты, где Laya не уверена. Люди размечают то, что модель ещё не умеет, — объём ручной разметки примерно вдвое меньше.