Spaces:
Paused
Paused
Download src/rag/loader.py from xbizot/saearch-v3: direct link, hf CLI and curl.
- Browser
- Download file 2.23 kB
-
https://huggingface.co/spaces/xbizot/saearch-v3/resolve/main/src/rag/loader.py
- Command line
-
hf download hf://spaces/xbizot/saearch-v3/src/rag/loader.py
-
curl -L -o loader.py https://huggingface.co/spaces/xbizot/saearch-v3/resolve/main/src/rag/loader.py
2.23 kB
| # Chargement et découpage des documents PDF du corpus climatique | |
| import os | |
| from langchain_community.document_loaders import PyPDFLoader | |
| from langchain_text_splitters import RecursiveCharacterTextSplitter | |
| def charger_documents(dossier: str) -> list: | |
| """ | |
| Charge tous les fichiers PDF d'un dossier donné. | |
| Retourne une liste de documents LangChain. | |
| """ | |
| documents = [] | |
| fichiers_pdf = [f for f in os.listdir(dossier) if f.endswith(".pdf")] | |
| if not fichiers_pdf: | |
| print(f"Aucun fichier PDF trouvé dans '{dossier}'.") | |
| return documents | |
| for nom_fichier in sorted(fichiers_pdf): | |
| chemin = os.path.join(dossier, nom_fichier) | |
| chargeur = PyPDFLoader(chemin) | |
| pages = chargeur.load() | |
| documents.extend(pages) | |
| print(f" Chargé : {nom_fichier} ({len(pages)} pages)") | |
| print( | |
| f"\nTotal : {len(fichiers_pdf)} fichiers chargés, {len(documents)} pages au total." | |
| ) | |
| return documents | |
| def decouper_documents(documents: list) -> list: | |
| """ | |
| Découpe une liste de documents LangChain en chunks. | |
| Utilise RecursiveCharacterTextSplitter avec chunk_size=1500 et chunk_overlap=150. | |
| Conserve les métadonnées (source, page) de chaque document. | |
| Retourne la liste des chunks. | |
| """ | |
| splitter = RecursiveCharacterTextSplitter( | |
| chunk_size=1500, | |
| chunk_overlap=150, | |
| ) | |
| chunks = splitter.split_documents(documents) | |
| print(f"Découpage terminé : {len(chunks)} chunks créés.") | |
| return chunks | |
| def charger_et_decouper(dossier: str) -> list: | |
| """ | |
| Fonction principale : charge les PDFs du dossier puis les découpe en chunks. | |
| Retourne la liste des chunks prêts pour l'indexation. | |
| """ | |
| print(f"Chargement des documents depuis '{dossier}'...") | |
| documents = charger_documents(dossier) | |
| print("\nDécoupage des documents en chunks...") | |
| chunks = decouper_documents(documents) | |
| return chunks | |
| if __name__ == "__main__": | |
| chunks = charger_et_decouper("data/raw") | |
| if chunks: | |
| print("\n--- Métadonnées du premier chunk ---") | |
| print(chunks[0].metadata) | |
| print("\n--- Métadonnées du dernier chunk ---") | |
| print(chunks[-1].metadata) | |