Archives du chanvre : 30 ans numérisés

Depuis la fin des années 80, des militants collectent des informations sur le thème du chanvre, principalement en Suisse, mais aussi au niveau international. L'accent est mis sur les thèmes politiques et juridiques. Ces derniers mois, nous avons numérisé le contenu de ces plus de 60 dossiers physiques.

Lorsque le sujet a pris de l'ampleur dans les médias au milieu des années 90, il s'est lentement mais sûrement transformé en archives de dossiers. Grâce à la numérisation, une énorme quantité d'informations est désormais accessible d'une manière qui rend les recherches et les évaluations possibles. Au total, le processus de numérisation a permis de sauvegarder 8'381 documents, soit 16'276 pages.

Dans les classeurs étaient classés des articles de journaux, découpés ou des pages entières, ainsi que des articles de magazines (ainsi que des numéros spéciaux entiers) et des brochures en tout genre. De nombreux textes de loi et leurs projets (drapeaux) étaient disponibles sous forme de dossiers A4, ainsi que des études ou des travaux d'étudiants. S'y ajoutaient des papiers de position et des communiqués de presse de plus petite taille. Enfin, des flyers, des affiches et de nombreuses petites trouvailles : du sachet de chanvre aux filtres, en passant par les pins, les autocollants, etc.

A la fin des années 80 et au début des années 90, c'est surtout la scène ouverte de la drogue à Zurich qui faisait la une des médias. Le thème du chanvre - auparavant presque exclusivement sous forme de haschisch - n'a été traité de manière plus proéminente dans les médias qu'avec les champs de chanvre et les annonces y afférentes au milieu des années 90, puis également en tant que chanvre et non plus (seulement) en tant que haschisch. Mais il y avait parfois aussi des gros titres qui décrivaient la “culture du hasch”. Les journalistes de l'époque (comme beaucoup d'autres à l'époque, y compris les consommateurs de THC) ne savaient pas quelle était la différence entre le chanvre, le haschisch et beuh. Ils ne savaient pas non plus ce qu'était le cannabis.

A partir de 1996, un groupe de personnes a commencé à collecter régulièrement des articles et les archives n'ont cessé de croître. Pour ne pas perdre la vue d'ensemble, Sven a mis en place des archives thématiques au tournant du millénaire : Anciennes archives du chanvre, Politique, Aide juridique, International et Divers.

A partir de 2005 environ, des soirées d'archivage ont été organisées régulièrement, au cours desquelles il a classé avec Priska les nouveaux articles et informations (surtout ceux de Ruth).

Autrefois, il fallait travailler avec de grands scanners spéciaux si l'on voulait numériser de nombreux documents. Aujourd'hui, certains d'entre vous portent déjà la technologie nécessaire dans leur sac de pantalon : l'iPhone 15 peut prendre des photos avec une résolution de 48 mégapixels ! Nous avons acheté ce modèle et continuerons à l'utiliser comme téléphone portable de l'association après le projet de numérisation. Outre l'iPhone nouvellement acquis, le mini-serveur de Michael offre des centaines de gigaoctets d'espace de stockage SSD rapide pour conserver tous les scans originaux en toute sécurité. Nous connectons l'iPhone via WLAN, alors que nous avons installé un câble réseau pour notre Mac Mini. Ainsi, les fichiers d'images d'environ 15 Mo passent rapidement de l'appareil photo du téléphone portable au serveur, puis à l'ordinateur, pour la prévisualisation et la combinaison de plusieurs pages individuelles en un document de plusieurs pages. Notre ligne Internet rapide a permis de décentraliser la sauvegarde de toutes les archives.

Nous utilisons un logiciel développé par nos soins, qui soutient de manière optimale notre processus de numérisation et stocke les fichiers résultants de manière efficace et fiable.

Nous avons utilisé une caisse en plastique pour que la caméra soit toujours placée à la même position et à la même distance du document (voir l'image sur cette page). À l'extérieur de la caisse, le téléphone est monté, et à l'intérieur de la caisse, nous avons installé une lampe de 1 400 lumens afin d'éclairer au mieux les documents.

Fabian en train de scanner l'un des plus de 8 000 documents

En principe, il s'agit de trouver un équilibre entre la qualité et la quantité. Travailler le plus précisément possible, mais aussi le plus rapidement possible, telle était la devise de Fabian :

“Dès le début, je savais que cela serait important. Vu la quantité de scans, il faut numériser assez rapidement, sinon tout cela prend beaucoup trop de temps. Mais les archives numériques ne nous apportent pas grand-chose si la qualité n'est pas bonne, c'est-à-dire si de nombreux scans sont (trop) de travers ou si le papier n'est pas à plat. Bien sûr, de nos jours, il est possible de corriger et d'ajuster certaines choses après coup, mais je voulais limiter au maximum la perte de temps due aux erreurs ou aux multiples essais.

Dès le deuxième jour, j'ai pu faciliter et accélérer le processus en ne soulevant la caisse qu'une seule fois pour changer les articles à scanner. J'ai scanné les dossiers de l'arrière vers l'avant, afin que tout soit ensuite classé chronologiquement, de l'ancien au nouveau. Le déroulement concret du travail était le suivant : mettre l'article à l'intérieur, 'affiner' par l'ouverture sur le côté, déclencher le scan, mettre entre-temps ce qui a déjà été scanné dans une caisse, vérifier à l'écran, terminer le scan (sauvegarde dans la structure des dossiers), sortir l'article suivant, sortir l'article scanné, mettre le nouveau et recommencer.

Je me suis rapidement habitué aux doigts noirs et j'ai été surpris de ne jamais avoir mal au bras ou à la main gauche. Après quelques scans, je suis entré dans une sorte de transe, j'étais pour ainsi dire “dans le flux” et presque impossible à arrêter. Parfois, il fallait réajuster la boîte, mais je le faisais bientôt automatiquement. C'est surtout le pliage en arrière des grands articles de journaux qui était pénible (car il prenait du temps), mais les petits plis se faisaient assez rapidement.

Heureusement, nous avons pu emprunter un scanner de documents, car sans un tel appareil, la numérisation des volumineux dossiers A4 n'aurait guère été possible ou aurait pris beaucoup trop de temps et aurait nécessité trop d'espace de stockage. Certains magazines et cahiers ont dû être découpés au préalable pour pouvoir être scannés avec cet appareil”.

Nous découpons automatiquement les scans originaux en fonction de leur contenu (terme technique “to crop”). Pour cela, nous utilisons “OpenCV”, une solution open source qui contient différents algorithmes de vision par ordinateur. Ce qui a le mieux fonctionné, c'est de rendre d'abord l'image originale à haute résolution moins nette avec “Morphological Erosion” (car il ne s'agit que de la structure grossière !) et de saisir ensuite les transitions avec “Canny Edge Detection”:

À gauche, un scan original ; à droite, un résultat intermédiaire des algorithmes OpenCV.

Ensuite, notre programme recherche le début du contenu par le haut, le bas, la gauche et la droite, en ignorant le cadre de la boîte. Enfin, nous créons un nouveau fichier image recadré. Quelques documents doivent être recadrés manuellement, mais la grande majorité des documents ont été recadrés automatiquement. La différence en termes de volume de données est énorme : les 140 Go d'originaux sont devenus 40 Go de fichiers recadrés.

Voici un conseil pour tous ceux qui souhaitent réaliser un projet similaire : utilisez un arrière-plan mat de la même couleur (sans reflets !) afin de créer des conditions idéales pour le crop. Il suffit alors d'un filtre de couleur, comme pour un écran vert, et les données d'image sont faciles à comprimer au format JPG, ce qui permet d'obtenir des fichiers originaux plus petits.

Maintenant que nous avons numérisé plus de 16 000 pages individuelles, le prochain développement est une interface facile à utiliser pour s'orienter dans cette quantité de données. Les archives se divisent en cinq domaines : anciennes archives du chanvre, International, Politique, Aide juridique et Divers. Notre navigateur d'archives affiche en conséquence ces cinq domaines principaux ainsi que les sous-dossiers correspondants et permet soit de parcourir tous les documents, soit de les restreindre davantage à volonté. Par exemple, il est possible de commencer une recherche dans le domaine de la politique, de sélectionner le dossier de l'initiative sur le chanvre, puis de parcourir tous les documents du sous-dossier contre-projet.

La navigation dans la hiérarchie est certes utile, mais une fonction de recherche serait bien sûr encore plus pratique ! Actuellement, les données sont disponibles sous forme d'images, mais dans une prochaine étape de post-traitement, nous voulons convertir ces données en texte (terme technique “OCR”, Optical Character Recognition), ce qui rend possible une fonction de recherche. La difficulté est de saisir d'abord la structure du contenu numérisé, c'est-à-dire où se trouve un graphique, où commencent les colonnes de texte de l'article environnant, comment elles se brisent, etc. Ce n'est qu'après avoir extrait le texte de la structure que les programmes OCR donnent de bons résultats. Avec la version texte, nous pouvons non seulement mettre en œuvre des fonctions utiles telles que la recherche plein texte, mais aussi d'autres étapes telles que la reconnaissance automatique de la date ou encore un résumé et une fouille ultérieurs du contenu avec des systèmes d'intelligence artificielle.

Nos archives associatives servent à nos consultations juridiques, aux articles de notre magazine et à la mémoire de notre développement en tant qu'association.

D'ailleurs : si tu as une info intéressante, n'hésite pas à nous l'envoyer ! Nous continuerons à l'avenir d'ajouter des contenus à nos archives et de développer nos archives.