report.md

Отчёт по проекту: классификатор тематик научных статей

1. Задача

Построен веб-сервис для классификации научных статей по title и abstract. Пользователь вводит заголовок статьи и, при наличии, abstract, после чего сервис возвращает наиболее вероятные тематики статьи и набор top-95% классов.

2. Почему выбран этот проект

Эта задача напрямую соответствует формулировке задания и покрывает полный NLP/MLOps pipeline: сбор данных, обучение трансформера, сохранение артефактов, онлайн-инференс, веб-интерфейс и деплой.

3. Данные

Данные были собраны через arXiv API по 8 укрупнённым направлениям: cs, econ, eess, math, physics, q-bio, q-fin, stat.

На финальном запуске использовалось примерно по 1500 статей на класс. После удаления дубликатов был получен датасет примерно на 11 тысяч объектов.

Для обучения использовался объединённый текст: [TITLE] {title} [ABSTRACT] {abstract}

Если abstract отсутствует, сервис работает только по title.

4. Модель

Использована модель distilbert-base-cased в постановке single-label multiclass classification.

5. Обучение

Использовалась библиотека Hugging Face transformers и стандартный Trainer.

Шаги:

1. сбор данных через arXiv API;
2. очистка текста;
3. stratified split на train и validation;
4. токенизация;
5. fine-tuning DistilBERT;
6. подсчёт метрик.

6. Итоговые метрики

На validation были получены следующие метрики:

• accuracy = 0.7380
• macro F1 = 0.7354
• weighted F1 = 0.7371

7. Инференс

Во время инференса:

1. текст собирается из title и abstract;
2. модель выдаёт logits;
3. применяется softmax;
4. классы сортируются по вероятности;
5. выбирается минимальный набор классов, чья суммарная вероятность достигает не менее 95%.

8. Интерфейс

Интерфейс реализован на Streamlit. Он содержит поля для title и abstract, кнопку запуска, примеры, таблицу вероятностей, вывод top-95% классов и обработку ошибок.

9. Деплой

Проект подготовлен для деплоя в Hugging Face Spaces через Docker.