PyMuPDF et pgvector : ce que le découpage décide
Dans une chaîne de recherche augmentée, l’attention se porte sur le modèle. La qualité dépend pourtant de deux étapes antérieures : la façon dont un PDF est découpé, et ce que l’extraction a déjà perdu.
La démonstration se monte en un après-midi, et la déception arrive la semaine suivante : le système répond à côté, et on soupçonne le modèle. Dans les cas que j’ai vus, l’erreur se trouvait presque toujours en amont. Un modèle ne peut pas répondre à partir d’un passage qu’on ne lui a pas fourni, ni comprendre un passage coupé au milieu d’un tableau.
Un PDF ne décrit pas une structure ; il décrit ce qu’il faut dessiner et à quel endroit. L’extraction renvoie des caractères et des positions, et tout ce qui relevait de la structure (un tableau, une note de bas de page, un en-tête répété) devient du texte continu. Avant tout découpage, il faut donc examiner le résultat de l’extraction sur les documents les plus difficiles du corpus, et non sur le plus propre.
import pymupdf
from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
def read(path: str) -> list[Document]:
document = pymupdf.open(path)
pages = []
for number, page in enumerate(document, start=1):
# "blocks" rather than "text": this returns a reconstructed reading order
# instead of a stream where columns interleave.
blocks = page.get_text("blocks")
content = "
".join(b[4].strip() for b in sorted(blocks, key=lambda b: (b[1], b[0])))
# The page number is not decorative: it is what will later let the source
# be shown, and an answer without a source cannot be checked.
pages.append(Document(page_content=content, metadata={"source": path, "page": number}))
return pages
splitter = RecursiveCharacterTextSplitter(
chunk_size=1000,
chunk_overlap=150,
# Order matters: cut at paragraphs first, and only as a last resort in the
# middle of a word.
separators=["
", "
", ". ", " ", ""],
)Deux morceaux consécutifs qui ne se recouvrent pas coupent une phrase en deux, et aucun des deux ne contient alors la réponse. Un recouvrement de dix à quinze pour cent règle ce problème au prix d’un index un peu plus gros. Le compromis principal porte sur la taille. Un morceau long donne du contexte au modèle mais un vecteur imprécis ; un morceau court donne un vecteur précis mais un contexte insuffisant. Aucune valeur n’est correcte dans l’absolu, et il faut la mesurer sur une trentaine de questions dont on connaît la réponse.
Le réflexe est d’ajouter une base vectorielle à l’architecture. Pour quelques dizaines de milliers de morceaux, une extension de la base relationnelle déjà en service suffit, et elle apporte ce qu’un service séparé n’a pas : les vecteurs et les métadonnées dans la même transaction, la même sauvegarde et les mêmes droits. Il y a un service de moins à administrer, et cette économie se constate surtout au moment de la passation.
from langchain_postgres import PGVector
store = PGVector(
embeddings=embedding_model,
collection_name="documents",
connection="postgresql+psycopg://…",
use_jsonb=True,
)
store.add_documents(splitter.split_documents(pages))
# The metadata filter in the same query as the distance: this is what avoids
# pulling back a thousand chunks in order to keep five.
results = store.similarity_search(
"what are the termination conditions",
k=5,
filter={"source": {"$in": permitted_documents}},
)Je ne traite ni du réordonnancement des résultats ni des recherches hybrides combinant mots-clés et vecteurs. Les deux améliorent la précision, mais ne se justifient qu’une fois la mesure en place : les ajouter avant de disposer d’un jeu de questions de référence revient à empiler des réglages sans savoir lequel a servi. Je ne traite pas non plus des droits d’accès document par document, qui sont la principale difficulté d’un tel système en entreprise. Le filtre ci-dessus suppose une liste déjà calculée, et calculer cette liste est un projet à part entière.