Archives municipales : les interroger par les mots et par le sens
Les PDF scannés d'une commune passent à l'OCR (la reconnaissance du texte dans une image), puis se cherchent par un mot exact ou par une idée. Tout reste sur l'ordinateur.
- Avant
- Des PDF scannés où l'on ne peut chercher ni un mot, ni une idée.
- Maintenant
- 1 247 documents où l'on retrouve un passage par un mot ou une idée, sur son propre ordinateur.
Utile si vous avez des archives scannées à fouiller sans les envoyer à un service en ligne.
# stack
En 3 étapes
- Un script lit chaque page des PDF : il garde le texte s'il existe, et fait l'OCR (la lecture de l'image) si la page n'est qu'un scan ou un tampon.
- Les textes sont rangés dans une base de recherche, par les mots exacts et par le sens, avec un modèle d'IA qui tourne sur l'ordinateur.
- Chacun pose sa question sur sa propre copie de l'outil et reçoit des passages avec le document et la page, à vérifier dans le texte.
$ python3 scripts/vecto.py cherche config/archives-commune.toml "remplacer le toit du bâtiment où l'on organise bals et mariages" --mode sens -k 1
1. [deliberations] Conseil municipal du 2019-03-12 · 2019-03-12 · p. 1-2 (sens)
… es fêtes. Le conseil municipal, après en avoir délibéré, décide de confier à l'entreprise Couvrex le remplacement de la toiture pour un montant de 48 000 euros hors taxes. Délibération numéro 2 : règlement du marché hebdomadaire. Les commerçants non sédentaires s'acquittent d'un droit de place de 1,50 euro le mètre linéaire. Le conseil adopte le règlement à … A · Une fois par corpus
01
Les PDF
scannés ou avec texte
02fait maison
La lecture page par page
texte gardé, ou OCR
avecPythonTesseract
03
Le découpage
nettoie, coupe en passages
indexe : L'index
Python
B · À chaque question
04
Un membre du collectif
pose une question
05fait maison
La recherche
fusionne 2 classements
mots et sens : L'index
avecPython
06
Les passages
avec document et page
Les données
L'index
mots et sens, en local
écrit par 03 · lu par 05
SQLitebge-m3Ollama
À côté
Les contrôles
questions-témoins du corpus
39 questions-témoins sur 39 réussies.
- fait maison
- outil du marché, source ou résultat
- une personne
- les données
Pourquoi je l'ai fait
Je fais partie d’un collectif citoyen qui lit les archives de sa commune : délibérations du conseil municipal, journaux locaux, enquêtes. Les délibérations sont des PDF, souvent scannés, et le site de la commune n’offre pas de recherche dans leur texte. Je voulais que chaque membre retrouve un passage par un mot ou par une idée, sur son propre ordinateur, sans rien envoyer en ligne.
Ce que ça fait, concrètement
Les archives se retrouvent de deux façons. Par les mots : un nom, un montant, une expression exacte. Par le sens : dans l’exemple fictif du paquet, « remplacer le toit du bâtiment où l’on organise bals et mariages » retrouve une délibération qui parle de la « couverture de la salle des fêtes ». Chaque résultat donne le document, sa date et la page.
Pour mon collectif, la base réunit 1 247 documents et plus de 5 millions de mots : des délibérations sur plus de dix ans, des comptes, des journaux locaux et des enquêtes. Chaque membre a sa propre copie de l’outil. Pour la même recherche sur mes propres textes, voir la recherche locale.
Comment ça marche, en détail
Fabrication : L'OCR page par page, 4 PDF d'exemple fictifs, 4 questions-témoins
Deux temps : lire les PDF, puis les ranger dans une base de recherche. Le partage entre membres, lui, est décrit dans le dossier partagé avec une IA par membre.
Le piège du PDF qui ne contient qu’un tampon
Sur les actes récents, la couche texte des PDF se réduisait au tampon de la préfecture, répété à chaque page : le corps n’existait que dans l’image. Pendant un temps, neuf ans de délibérations manquaient donc à la recherche. Le script décide page par page : il garde le texte s’il reste du contenu une fois le tampon retiré, sinon il fait l’OCR en local. Compter 1 à 3 secondes par page océrisée et par cœur de processeur.
La base de recherche : deux classements fusionnés
Les textes sont coupés en passages d’environ 300 mots, rangés deux fois dans une base SQLite : par les mots, insensible aux accents, et par le sens, avec les vecteurs du modèle bge-m3 calculés par Ollama sur l’ordinateur. La recherche fusionne les deux classements. Une relance sans changement prend 0,2 s ; la première fois, 13 286 passages ont demandé 629 secondes, en octobre 2026.
Les questions-témoins : relevées dans les textes, jamais inventées
Avant d’adopter le corpus, des questions dont je connais la réponse vérifient que chaque source est bien indexée, dont plusieurs par le sens sans mot commun avec la cible. Chacune se relève dans les textes avec grep. Mon corpus en compte 39, toutes réussies.
Le rôle de chaque pièce
Les 6 étapes du schéma, une par une
- Les PDF Les délibérations, les journaux locaux et les enquêtes, tels qu'ils ont été déposés ou numérisés.
- La lecture page par pagePython · Tesseractfait maison Pour chaque page, il garde le texte du PDF s'il reste du contenu hors tampon, sinon il fait l'OCR en local.
- Le découpagePython Il retire ce qui se répète sur chaque page, puis coupe les textes en passages d'environ 300 mots.
- Un membre du collectif Chaque membre interroge sa propre copie de l'outil, sur son ordinateur.
- La recherchePythonfait maison Elle interroge l'index par les mots et l'index par le sens, puis fusionne les deux classements en un seul.
- Les passages Des extraits avec leur document, leur date et la page du PDF, à vérifier dans le texte avant de l'affirmer.
# mémoires
- L'indexSQLite · bge-m3 · Ollama Un index par les mots (SQLite) et un index par le sens (vecteurs du modèle bge-m3, calculés par Ollama), tous deux sur l'ordinateur.
# à côté
- Les contrôles Avant d'adopter un corpus, des questions-témoins relevées dans ses textes vérifient que chaque source répond.
Ce que vous pouvez récupérer
Le paquet complet : le script d’OCR page par page, l’outil de recherche (celui de mon collectif, copié tel quel), un réglage d’exemple pour une commune imaginaire, quatre PDF fictifs pour essayer, et le guide pas à pas. Il vous faut Python, Ollama avec le modèle bge-m3, Tesseract avec la langue française et poppler, tous gratuits. Le paquet n’a été essayé que sur Mac. Commencez par l’exemple, puis par quelques-uns de vos PDF, et écrivez vos questions-témoins avant de faire confiance aux résultats.
De quoi interroger les archives de votre commune : le script d'OCR page par page, l'outil de recherche par les mots et par le sens, un réglage d'exemple, quatre PDF fictifs pour essayer et le guide pas à pas.
Il vous faut
- Python 3.11 ou plus récent, avec numpy
- Ollama et le modèle bge-m3 (1,2 Go)
- Tesseract (en français) et poppler
- Des PDF d'archives sur votre ordinateur
Ce que j'en retiens
Il faut lire le texte réel d’un PDF avant de l’indexer : un tampon répété suffit à cacher neuf ans de séances. Un résultat trouvé par le sens reste une piste, que je vérifie dans le document avant de l’affirmer. Et l’OCR a ses limites : il lit mal les pages de tableaux en paysage ou tête-bêche, ce que cette recette ne corrige pas.