File size: 2,225 Bytes
8c9497b 56f3120 fbee282 56f3120 78ca1b8 56f3120 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 | # Chargement et découpage des documents PDF du corpus climatique
import os
from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
def charger_documents(dossier: str) -> list:
"""
Charge tous les fichiers PDF d'un dossier donné.
Retourne une liste de documents LangChain.
"""
documents = []
fichiers_pdf = [f for f in os.listdir(dossier) if f.endswith(".pdf")]
if not fichiers_pdf:
print(f"Aucun fichier PDF trouvé dans '{dossier}'.")
return documents
for nom_fichier in sorted(fichiers_pdf):
chemin = os.path.join(dossier, nom_fichier)
chargeur = PyPDFLoader(chemin)
pages = chargeur.load()
documents.extend(pages)
print(f" Chargé : {nom_fichier} ({len(pages)} pages)")
print(
f"\nTotal : {len(fichiers_pdf)} fichiers chargés, {len(documents)} pages au total."
)
return documents
def decouper_documents(documents: list) -> list:
"""
Découpe une liste de documents LangChain en chunks.
Utilise RecursiveCharacterTextSplitter avec chunk_size=1500 et chunk_overlap=150.
Conserve les métadonnées (source, page) de chaque document.
Retourne la liste des chunks.
"""
splitter = RecursiveCharacterTextSplitter(
chunk_size=1500,
chunk_overlap=150,
)
chunks = splitter.split_documents(documents)
print(f"Découpage terminé : {len(chunks)} chunks créés.")
return chunks
def charger_et_decouper(dossier: str) -> list:
"""
Fonction principale : charge les PDFs du dossier puis les découpe en chunks.
Retourne la liste des chunks prêts pour l'indexation.
"""
print(f"Chargement des documents depuis '{dossier}'...")
documents = charger_documents(dossier)
print("\nDécoupage des documents en chunks...")
chunks = decouper_documents(documents)
return chunks
if __name__ == "__main__":
chunks = charger_et_decouper("data/raw")
if chunks:
print("\n--- Métadonnées du premier chunk ---")
print(chunks[0].metadata)
print("\n--- Métadonnées du dernier chunk ---")
print(chunks[-1].metadata)
|