Dans la conception ou la refonte d’un site web ou d’une application, vous êtes souvent confronté à la problématique de l’architecture de l’information. La première étape peut être de faire un tri par carte pour avoir une idée de cette architecture sur la base de la représentation mentale des utilisateurs. Dans d’autres cas, l’organisation des rubriques peut être issue d’un travail d’experts avec le risque que les experts soient un peu trop éloigné de la réalité des utilisateurs.

Donc, dans tous ces cas, il faut tester votre arborescence auprès des utilisateurs finaux et, pour cela, il faut utiliser un treejack ou test d’arborescence. Le principe est simple, vous donnez une tâche « Pour trouver telle information, vous irez où dans cette arborescence ? ». L’utilisateur parcourt l’arborescence jusqu’à trouver ce qu’il pense être la bonne rubrique, qu’il valide.

Mais revenons au début, comment organiser tout ça ?

Les ingrédients

Déjà pour faire un treejack, il faut un outil en ligne permette de recueillir les réponses et de les traités. Historiquement, Optimalworkshop fait ça depuis longtemps avec un outil qui marche très bien et une belle analyse des résultats, avec notamment une présentation en arbre du parcours.

Malheureusement, les tarifs d’Optimalworkshop sont devenus inabordables pour rester polis. Donc j’ai cherché une autre solution abordable, quitte à devoir l’installer sur mon serveur. Et j’ai trouvé la perle rare, un peu aidé par la communauté des designers. C’est Usabilitree un projet open source. Vous pouvez regarder et vous connectez, une étude est déjà présente. Elle permet de voir comment ça fonctionne.

L’arborescence

Pour faire ce test, il faut deux ingrédients, l’arborescence et les tâches. Dans le cas qui me préoccupe, je travaille sur l’amélioration du Code du travail numérique et plus précisément sur la réorganisation des thématiques. Donc ce n’est la navigation principale, mais une des navigations possibles dans le site pour atteindre les 700 et quelques pages de contenus.

L’arborescence d’origine a plusieurs défauts. Elle est sur 3 niveaux. Il a des rubriques avec une ou peu pages dedans, des pages qui trainent au niveau supérieur. Donc l’objectif c’est de réorganiser ça sur 2 niveaux, avec plus thématique au niveau supérieur et pas de rubriques ou de pages orphelines. Pour ça le travail s’est fait en deux temps, je suis parti de l’existant et j’ai fait une proposition sur deux niveaux un peu automatique en remontant des rubriques, puis les juristes de l’équipe ont amendé largement le travail en fonction des contenus. Au final, on obtient un joli tableur avec les rubriques et sous rubriques sur deux colonnes. J’ai copié/coller ça dans Textedit, fait un petit rechercher/remplacer pour supprimé les virgules en trop et au final j’ai un fichier qui ressemble à ça :

Embauche , Méthodes de recrutement , Formalités d’embauche , Période d’essai , Travailleurs étrangers Contrat de travail , Principales caractéristiques , CDI , CDD

Et je copie, colle ça dans l’interface du projet que j’ai créée dans Usabilitree. Un petit « Parse structure » vous permet de vous assurer du résultat.

Les tâches

Pour les tâches, comme le site existe déjà, avec la cheffe de projet, nous avons regardé le top 10 des pages et 10 pages beaucoup moins fréquentées. Les recherches sur le moteur de recherche, ont aussi permis de trouver quelques tâches pertinentes en lien avec les tops/flops comme : « Où iriez-vous chercher des informations concernant les règles en cas d’arrêt maladie pendant vos congés payés ? » qui croise deux thématiques « arrêt maladie » et « congés payés », une actualité récente.

Nous en avons retenu 6 de chaque au final, soit 12 tâches. Pour ces 12 tâches, il faut formuler douze questions. Ces formulations doivent être neutre et ne pas indiquer le chemin dans l’arborescence :

• Vous voulez calculer votre indemnité de rupture conventionnelle. Où allez vous ?
• Où cherchez-vous un modèle de lettre de démission ?
• Où iriez-vous pour trouver les règles relatives au travail le dimanche ?

Après, il suffit de saisir tout ça dans l’interface et d’associer à chaque tâche le bon chemin. Il y a quelques messages à remplir pour les explications et les remerciements et de vérifier dans l’aperçu que tout est bien en place.

Le recrutement

Dans mon cas j’ai fait, au plus simple, comme je travaille sur un sujet « grand public », bon, en réalité c’est les salariés, les pros du droit du travail et les patrons de petites entreprises. Mais donc j’ai diffusé le lien vers le treejack sur mes différents réseaux. Ce n’est pas parfait comme recrutement, mais c’est un compromis entre résultat rapide et moyens disponibles. En clair, je n’avais pas de budget, où ça aurait mis 3 plombes pour en trouver pour recruter un échantillon correct.

Les résultats

Une fois que vous avez suffisamment de réponses, de l’ordre d’une centaine, vous pouvez vous pencher sur les résultats. Plus vous avez de réponses, moins les marges d’erreur sont importantes, mais, si malheureusement vous avez du mal à recruter, faites avec ce que vous avez. Les résultats seront un peu moins fiables.

Déjà un petit point de repère sur les résultats.

Bill Albert and Tom Tullis reviewed 98 tree-testing studies. They found that the median success rate for tasks was 62%, with the interquartile range from 37% – 83%. Their suggested rubric for task success scores in a tree testing study is:

• Poor: <40%
• Fair: 41% – 60%
• Good: 61% – 80%
• Very Good: 80% – 90%
• Excellent: >90%

Donc en français,

• Moins de 40% : mauvais
• 41% à 60% : médiocre
• 61% à 80% : bon
• 81% à 90% : très bon
• plus de 90% excellent

Ces chiffres donnent un repère, mais ils ne sont pas forcément adapté à toutes les arborescences. Il faut bien se rappeler que ce test est une situation artificielle en dehors du contexte du site ou du service, donc un 60% ne va pas nécessairement se traduire par 40 % de perte de visiteurs. Il est préférable de regarder l’évolution des résultats dans le temps si vous faites plusieurs itérations sur votre site.

Comment se présentent les résultats

Il y a trois facettes pour la présentation des résultats : le dashboard, par tâche et par participant.

Le dashboard

Rien de bien compliqué !

• Le nombre de participants et ceux qui ont répondu à tout. Ça veut dire aussi que certains ont répondu à une partie des questions, mais pas toutes. Donc là, j’ai des tâches à 118 participants et d’autres autour des 150 participants.
• Le temps mis, il faut rester sous la barre des dix minutes si vous ne voulez pas avoir trop d’abandons.
• Le taux de succès, donc les bonnes réponses directes ou indirectes.
• Le score direct, les réponses sans hésitations qu’elles soient bonnes ou mauvaises.
• Enfin, le tableau de toutes les tâches.

Le dashboard va surtout permettre de suivre la phase de passation.

Par participant

La vue par participant permet de voir le détail des parcours de chacun des participants sur chacune des tâches. Ce n’est pas forcément le plus intéressant à priori. Ça peut être pertinent d’y jeter un œil sur une tâche avec un mauvais score pour comprendre les parcours et les hésitations des utilisateurs.

Par tâche

C’est là qu’il y a le plus de choses à apprendre !

Déjà petites explications :

• Le taux de succès, c’est la somme des succès directs et indirects
• Le score direct, c’est la somme de succès direct, échec direct, abandon direct (skip)
• Le score global (overall score) c’est égal à taux de succès fois 0,7 plus score direct fois 0,3 donc une moyenne pondérée des deux scores (taux de succès x 0,7 + score direct x 0,3). Je dirai que ça rajoute une « petite prime » si les utilisateurs sont très sur de leurs réponses et une pénalité si ils sont indécis.

Je pars du principe que, si le score est supérieur à 70% c’est bon et il n’y a pas besoin d’analyser. Le 70% au doigt mouillé étant assumé ! Alors, comment analyser le reste ? Quelques cas pratiques, c’est plus simple pour expliquer.

« Trouver le nombre de jours auxquels vous avez le droit en cas de décès de votre grand-père »

Là le score est de 55% ce n’est pas une catastrophe. La question est assez simple et devrait pouvoir obtenir un meilleur score.

On observe :

• Le taux d’échec et de succès directs sont assez similaires autour de 35%, donc les gens vont directement à une rubrique sans hésitations.
• Ça se retrouve dans les 20s pour réaliser la tâche.
• Si on regarde le chemin pris, le 1er niveau est le bon, par contre, il y a des erreurs au deuxième niveau, les utilisateurs vont dans des congés spéciaux au lieu de ceux liés à la vie familiale.
• Les utilisateurs sont assez sûrs de leur réponse bonne ou mauvaise.

Ce qu’on peut faire :

• Rien, en conditions réelles, il est probable qu’ils trouvent !
• Vérifier l’ordre des sous-rubriques, est-ce qu’il y a un effet de primauté ? Non, ce n’est pas le cas. La vie familiale est en premier.
• Renommer les congés « spéciaux » en quelque chose de plus spécifique et différenciant ? C’est probablement une piste.

« Où cherchez-vous des informations sur la protection contre les discriminations »

Là, le score global est de 54%. Le score de succès est 62% avec une part importante de succès indirecte de 42%. Donc une grande part d’incertitude.

• On retrouve l’incertitude dans le temps de réalisation 37 secondes avec une grande variabilité.
• Si on regarde les chemins utilisés par les utilisateurs, ils sont répartis entre 3 rubriques à peu près à parts égales : les conflits et les contentieux, l’hygiène et sécurité, les risques professionnels
• Le « bon » chemin est l’hygiène et sécurité, mais en fait d’un point de vue utilisateur, les discriminations vont amener aux conflits et ce n’est pas un vraiment problème d’hygiène et sécurité.

Ce qu’on peut faire :

• Déplacer ce contenu dans les conflits et les contentieux, ce qui devrait permettre aux utilisateurs de trouver plus directement.

« Où irez-vous chercher la convention collective qui s’applique à votre contrat ? »

Là le score global est de 26% et 24 % de succès, c’est un peu la catastrophe.

• On remarque 42% d’échec indirect, donc des utilisateurs qui ont cherché et qui n’ont pas trouvé la bonne réponse.
• Le premier chemin suivi par les utilisateurs va dans contrat de travail à un large pourcentage 61% contre 34% dans représentation du personnel et négociation collective
• On remarque aussi que les réponses ont un niveau de confiance neutre en moyenne
• Le terme « contrat » est dans la question et dans le titre de la rubrique

Ce qu’on peut faire :

• Si on a le temps, refaire le treejack en modifiant la tâche « Où irez-vous chercher la convention collective qui s’applique à votre entreprise ? » et regarder si ça change le résultat.
• Déplacer les conventions dans contrat de travail

Conclusion

Donc, au final, dans mon cas, ça a permis de validé l’essentiel de l’arborescence et de corriger des défauts. Ça permet surtout de voir que dans certains cas les concepteurs de l’arborescence s’éloignent du point de vue des utilisateurs ou ont une approche plus technique. J’ai déjà rencontré ce genre de problématique en test utilisateurs avec une arborescence conçu par des bibliothécaires qui marchait très bien pour les bibliothécaires mais pas du tout pour le reste de l’humanité !  Est ce que les bibliothécaires font parties de l’humanité ? Vous avez 4 heures. 

Bibliographie

Bill Albert and Tom Tullis. 2023. Measuring the User Experience. (3rd Ed.) Morgan Kauffman, Cambridge, MA.