Qu'est-ce qu'un outil automatique peut mesurer de l'accessibilité — et ce qu'il ne peut pas ?

Un outil automatique mesure ce qui est dans le code et dans l'affichage — un contraste, une alternative absente, un titre de page, un parcours au clavier — et ne peut pas juger ce qui demande de comprendre le sens : une alternative pertinente, un sous-titre fidèle, un intitulé explicite. Le W3C le dit depuis longtemps : « tools can't do it all ».

Ce que dit le référentiel lui-même

Le RGAA 4.1.2 compte 13 thématiques, « 106 critères de contrôle RGAA incluant une moyenne de 2,5 tests par critère » (RGAA, introduction). Un critère est une question — « Chaque image porteuse d'information a-t-elle une alternative textuelle ? » — déclinée en tests précis selon l'élément concerné (critères et tests). Dire « 106 critères analysés » ne dit donc rien tant qu'on ne sait pas lesquels des tests qui les composent ont été exécutés — le référentiel en compte 2,5 par critère en moyenne — et par quel moyen.

Le W3C, qui édite les WCAG dont le RGAA est la méthode d'application française : « Tools can save you lots of time and effort on evaluation, and can help you avoid creating new accessibility barriers. However, tools can't do it all. Some accessibility checks just cannot be automated and require manual intervention. » — W3C/WAI, Evaluation tools. En français : les outils font gagner du temps et évitent de créer de nouvelles barrières ; mais ils ne peuvent pas tout faire, certaines vérifications ne s'automatisent pas et demandent une intervention humaine.

Ce qui se mesure

Dans la page telle qu'un navigateur la rend, un outil mesure sans ambiguïté :

• la présence d'un attribut, d'une balise, d'une déclaration : alternative d'image, langue de la page, titre, étiquette de champ, doctype ;
• des valeurs calculées : un rapport de contraste entre un texte et son fond, une taille, un espacement, un ordre dans le DOM ;
• des comportements exécutés : un parcours complet au clavier, la visibilité du focus (le style change-t-il ?), l'affichage à 200 % ou dans une fenêtre de 320 pixels, l'espacement du texte modifié, la page sans feuille de style ;
• des cohérences entre éléments : l'intitulé visible d'un bouton est-il contenu dans son nom accessible ? la hiérarchie des titres saute-t-elle un niveau ?

C'est l'essentiel du référentiel. Sur les trois sites de référence de notre contrôle de fiabilité, 92 à 94 critères sur 106 sont tranchés par une mesure de ce type, 5 à 8 par une règle déterministe appliquée aux indices relevés (notre méthode, relevé du 24 octobre 2026).

Ce qui ne se mesure pas

Ce qui demande de comprendre le sens :

• une alternative d'image est présente — mais est-elle pertinente ? « Logo » sous le logo de la mairie, oui ; « IMG_4532 » sous une photo, non ; « Photo de l'équipe » sous une photo de l'équipe, probablement — et seul un regard sur l'image le dit ;
• un lien a un intitulé — mais est-il explicite hors de son contexte ? « Lire la suite », seul, ne l'est pas ;
• une vidéo a des sous-titres — sont-ils fidèles ? une transcription — est-elle complète ?
• un titre de page — décrit-il la page ?

Pour ces éléments, deux attitudes existent. Les laisser « à vérifier » : honnête, mais le document livré reste à moitié vide. Les faire juger par un modèle d'intelligence artificielle, élément par élément : c'est ce que nous faisons pour 4 à 7 critères sur 106 — jamais un critère entier, et le verdict porte alors « estimé par IA », avec un contrôle à effectuer dans le guide de vérification. Un modèle se trompe. Nous écrivons donc l'origine de chaque verdict et le contrôle à effectuer, plutôt que de laisser une case vide sans le dire.

Ce qu'aucun outil, IA comprise, ne fait

• Décider de l'applicabilité d'un critère quand elle dépend d'une intention : ce contenu caché a-t-il « vocation » à être ignoré ? cette image est-elle décorative ?
• Tester avec une technologie d'assistance réelle — un lecteur d'écran, une loupe, une commande vocale — comme la méthode officielle l'exige pour une partie des critères.
• Engager une responsabilité sur le résultat.

C'est pourquoi aucun de ces outils, le nôtre compris, n'est un audit au sens de la méthode officielle, et pourquoi la déclaration d'accessibilité que vous publiez doit dire d'où vient son taux.

Comment lire un rapport automatique, alors ?

1. Cherchez l'origine de chaque verdict. Si le document ne distingue pas mesuré, déduit et estimé, demandez-vous comment il a tranché les critères de pertinence.
2. Regardez comment sont traités les critères non mesurables : conformes par défaut (le taux est gonflé), absents (le document est incomplet), ou renvoyés à une vérification (honnête).
3. Demandez si l'outil mesure son propre taux d'erreur contre des audits humains, et publie la méthode. Nous le faisons ; les chiffres seront publiés sur la page méthode une fois validés.

Sources : liens dans le texte. Les chiffres de répartition des méthodes sont ceux de notre moteur sur trois sites, relevés le 24 octobre 2026 ; ils varient d'un site à l'autre.