MedIR-RAG · Milestone 1: baseline BM25 no PubMedQA
Projeto da UC Recuperação de Informação em Bases de Texto (MEI, Universidade de Évora, 2026/2027). Autor: Paulo A. Julio (m70401).
Esta milestone constrói a baseline lexical do pipeline MedIR-RAG: indexação do PubMedQA,
pesquisa com BM25 e avaliação com pytrec_eval.
Formulação como tarefa de RI
- Corpus: cada resumo do
pqa_labeled(1000) é um documento, formado pela concatenação dosCONTEXTS. OLONG_ANSWERfica de fora porque é a conclusão do resumo. Opcionalmente juntam-se resumos dopqa_unlabeledcomo distratores (--distractors N). - Queries: as 1000 perguntas do
pqa_labeled. - Qrels: binários, 1 documento relevante por pergunta (o resumo de onde a pergunta saiu).
- Divisão: 20% das queries para validação (afinação de k1 e b), 80% para teste (seed 42).
Como reproduzir
Requer Java 21 (Pyserini/Lucene).
# Colab / Linux
apt-get install -y openjdk-21-jdk-headless
pip install -r requirements.txt
python milestone1_bm25.py # só pqa_labeled
python milestone1_bm25.py --distractors 20000 # com 20 000 distratores
Sem acesso ao Hugging Face Datasets, pode usar-se o ficheiro original do repositório do PubMedQA:
python milestone1_bm25.py --local-json ori_pqal.json.
Ficheiros gerados em outputs/
| Ficheiro | Conteúdo |
|---|---|
grid_val_*.csv |
grid search de k1 e b nas queries de validação |
results_test_*.csv |
métricas no teste (omissão, afinado, variantes de stemming) |
run_bm25_test_*.trec |
run TREC do BM25 afinado (top-100), reutilizado na Milestone 2 para a fusão RRF |
summary_*.json |
estatísticas do índice, melhores parâmetros, p-valor do Wilcoxon |
Métricas
NDCG@5, NDCG@10, MRR@10, MAP e Recall@100 (pytrec_eval). O MRR@10 é calculado sobre o
run cortado ao top-10.
Milestone 2: recuperação densa, LoRA, RRF e re-ranking
Autores: Paulo A. Julio (m70401), Betânia Silá (m66724).
milestone2_dense.py usa o mesmo corpus (B: 1000 resumos + 20 000 distratores), as mesmas
queries e a mesma divisão validação/teste da Milestone 1.
| Estágio | Configuração |
|---|---|
| BM25 | Pyserini, k1 e b escolhidos na validação da Milestone 1 |
| Bi-Encoder zero-shot | BAAI/bge-small-en-v1.5, CLS + normalização L2, FAISS IndexFlatIP |
| Bi-Encoder LoRA | r=16, alpha=32, query/value; MultipleNegativesRankingLoss (negativos in-batch, escala 20); 20 000 pares do pqa_artificial |
| Híbrida | Reciprocal Rank Fusion do BM25 com o Bi-Encoder LoRA, k=60, top-100 de cada |
| Cross-Encoder LoRA | PubMedBERT (microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext), r=16, alpha=32, query/key/value, pooler e cabeça treináveis; perda listwise com 1 positivo e 3 negativos difíceis; reordena o top-50 da híbrida |
| Referência | cross-encoder/ms-marco-MiniLM-L-6-v2 sem treino, no mesmo top-50 |
Os dados de treino vêm do pqa_artificial e excluem qualquer resumo do corpus de avaliação.
python milestone2_dense.py --distractors 20000 --hub-user <utilizador_hf>
Adaptadores publicados: medir-rag-bge-small-lora e medir-rag-pubmedbert-ce-lora.
Resultados em outputs/m2_* (métricas no teste e na validação, testes de Wilcoxon, runs TREC
e m2_summary_*.json com parâmetros treináveis, tempos e VRAM).
Referências
- Jin, Q. et al. (2019). PubMedQA: A Dataset for Biomedical Research Question Answering. EMNLP-IJCNLP.
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Lin, J. et al. (2021). Pyserini: A Python Toolkit for Reproducible Information Retrieval Research. SIGIR.
- Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP.
- Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
- Cormack, G. V., Clarke, C. L. A., & Büttcher, S. (2009). Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. SIGIR.
- Xiao, S. et al. (2023). C-Pack: Packaged Resources To Advance General Chinese Embedding (BGE). arXiv:2309.07597.
- Gu, Y. et al. (2021). Domain-Specific Language Model Pretraining for Biomedical NLP (PubMedBERT). ACM HEALTH.
- Van Gysel, C., & de Rijke, M. (2018). pytrec_eval: An Extremely Fast Python Interface to trec_eval. SIGIR.