← points de vue
7 décembre 2020

Chercher par ressemblance

En 2020, comparer des documents par leurs vecteurs obligeait à assembler soi-même la chaîne de traitement. L’état de l’art à l’époque, et ce que les bases vectorielles ont changé depuis.

Une recherche par mots-clés retrouve ce qu’on sait nommer. Une recherche par ressemblance retrouve ce qu’on sait seulement reconnaître, et l’opération est différente. Le mot est remplacé par un vecteur, et la question « lequel contient ce terme ? » par « lequel est le plus proche ? ». Les développements suivants, y compris ce qu’on appelle aujourd’hui une base vectorielle, découlent de cette substitution.

01L’état de l’art en 2020

La chaîne comportait trois éléments, tous nécessaires. D’abord les vecteurs : on prenait un réseau entraîné pour la classification, on retirait sa dernière couche et on gardait le reste, quelques centaines de nombres par document. Ensuite un index approché, comme Annoy, publié par Spotify, ou FAISS, publié par Facebook, car comparer un million de vecteurs un par un est trop lent pour une requête interactive. Enfin le stockage, qui était l’élément le moins abouti : le plus souvent une base classique placée à côté de l’index, qu’il fallait maintenir cohérente avec lui.

02Le compromis qu’on acceptait

Le mot approché désigne le compromis central de ces index. Ils acceptent de manquer parfois le plus proche voisin en échange d’une réponse cent fois plus rapide. On règle le curseur entre exactitude et vitesse, on mesure la perte sur un échantillon dont la réponse est connue, puis on décide. Ce compromis n’a pas changé, et c’est le seul passage de mes notes de 2020 que je réécrirais à l’identique.

03Ce que les bases vectorielles ont changé

Les mathématiques n’ont pas changé : ce sont les mêmes familles d’index, souvent avec les mêmes bibliothèques. Les bases vectorielles ont changé l’exploitation. L’index et les données sont dans le même système, une écriture est visible dans les deux, on peut filtrer sur des métadonnées en même temps qu’on cherche par distance, et la sauvegarde couvre l’ensemble. Le progrès relève de l’ingénierie plus que de la science, et il comble l’élément qui manquait en 2020.

04Ce qui a le plus progressé : les vecteurs

Le sujet est devenu central grâce aux vecteurs plus qu’aux bases. Les embeddings de 2020 étaient spécialisés : un modèle pour les images, un modèle par langue pour le texte, et rapprocher deux langues exigeait un modèle dédié. Depuis, un même espace accueille des textes en plusieurs langues et parfois d’autres médias, avec une qualité suffisante pour que la recherche par ressemblance serve désormais à alimenter un modèle de langage. L’élément qui a le plus progressé est celui dont on parlait le moins.

05Les produits du moment, et le seuil

Je ne compare pas les produits actuels, qui évoluent trop vite pour qu’un article daté reste utile. Je ne recommande pas non plus une base vectorielle en dessous de quelques dizaines de milliers de vecteurs : une comparaison exhaustive en mémoire répond plus vite qu’un service à administrer, et s’écrit en un après-midi. Ce seuil compte davantage que le choix du produit, et c’est la question qu’on pose le moins souvent.