L’architecture de l’information est une problématique de base dans la conception d’un site Web. Le tri par cartes (Card sorting en anglais) est une méthode qui se base sur les réponses des utilisateurs pour construire une navigation efficiente.

[MAJ] : Websort a été racheté par Optimal sort en mars 2014.
Les deux services ont donc fusionnés.

Le principe du tri par cartes est de demander aux utilisateurs de regrouper des intitulés de rubriques ou de pages d’un site ou d’un service, dans des catégories et de nommer ces catégories. Suite à cela, un traitement statistique permet de faire apparaître les regroupements faits par l’ensemble des utilisateurs. C’est outil extrément puissant pour impliquer un grand nombre d’utilisateurs et simple à mettre œuvre. Le seul bémol de cette méthode c’est qu’elle se base sur les représentations mentales de l’utilisateur et non sur les usages (fréquence d’utilisation, procédure, etc.).

Cela sous-entend que le contenu est suffisamment riche pour devoir être organisé en catégories. Concrètement, pour moins de dix pages ne faites pas un tri par cartes, mettez tous au premier niveau !

Je vais vous présenter comment mettre en œuvre cette méthodologie en illustrant cela à l’aide de deux outils en ligne puis aborderait quelques questions plus théoriques.

Les outils

Les deux outils que je vous propose d’utiliser sont Websort et Optimal Sort. Ces deux outils ont leurs avantages et leurs inconvénients. Optimal Sort est peut-être un plus intéressant d’un point de vue UX mais plus compliqué pour exploiter les résultats. Il est par contre peut-être plus simple à utiliser pour l’utilisateur final et ne nécessite pas Flash. Websort sera sans doute plus facile à prendre en main pour le concepteur et pour une petite étude il sera plus efficient à utiliser.

Page d’accueil Optimal Sort

Page d’accueil Websort

Dans les deux cas, ils proposent une version d’essai avec un tri par cartes limité mais gratuit qui permet de tester l’outil. Je vous laisse les découvrir.

Préparer le tri par carte

La préparation du tri nécessite plusieurs étapes relativement simples, quand on sait par où commencer, ce qui n’est pas toujours le cas! Ça nécessite aussi de faire de choix et tant qu’à faire les bons!

Créer le tri par cartes, Optimal sort

Créer le tri par cartes, Websort

La liste des cartes

Pour faire un tri par cartes, il vous faut une liste de « cartes » (rubriques ou pages). Il n’est pas toujours évident d’avoir cette liste.

À noter, la longueur de la liste va avoir une influence directe sur le nombre de réponses valides que vous obtiendrez. Une liste courte est autour de 30 cartes. Elle est triée en 5 à 10 minutes. 60 cartes forment un corpus important nécessitant 10 à 30 minutes. Au-delà, le nombre d’abandon augmente rapidement, il faut réserver cela, par exemple, pour un site professionnel où le tri va être fait durant le temps de travail.

Sur un site nouveau en conception, il vous faudra faire l’inventaire de vos contenus, fonctions, poser l’ensemble à plat puis nommer le tout correctement.

Sur un site existant, il faut faire un premier travail pour aplanir l’arborescence en place et trouver les cartes pertinentes à faire trier. Pour cela je vous conseille de regarder le plan du site, surtout s’il est généré de manière automatique.

Un exemple : sur le site « orientation pour tous », le plan du site est généré automatiquement sans doute dans une optique de SEO.

Plan du site

Dans ce cas le niveau plus bas ce sont les pages HTML. Le site étant très volumineux, ce n’est pas le niveau des pages qui nous intéresse, mais le niveau juste au dessus qui va regrouper les pages (flèches rouges). Ces regroupements présentent des contenus cohérents et donc utilisables.

Il va donc falloir parcourir tout le plan, et le recopier dans un tableau, en se demandant si on prend tous les niveaux ou non et pourquoi. Dans un deuxième temps, il peut être aussi nécessaire de supprimer les doublons. Il arrive qu’un même contenu apparaisse deux fois l’arborescence existante.

Dans notre exemple :

• « Après le bac » et « Les grandes écoles » : est ce que je prends les deux ? ou seulement la catégorie supérieur « Après le bac » ? Si j’ai trop de catégories, je vais choisir que la catégorie supérieure.
• « Accéder à la VAE » on évite de prendre des ensembles vides, ou des catégories avec un seul élément dedans. Donc là, on ne tient pas compte du sous-niveau « Accéder à la VAE – les fiches »
• « Rechercher… » Il faut parfois corriger les libellés. Là on a trois fois « rechercher ». Il peut être nécessaire de simplifier le libellé et de se centrer sur la partie signifiante : « Une formation », « Les lieux labellisés Orientation pour tous ».

Une fois que c’est fait, vous devez avoir une liste de cartes, sous la forme d’un fichier texte avec un libellé de carte par ligne comme celui-là (format .txt). Vous pourrez importer cette liste dans le logiciel choisi.

Ajouter des cartes, Optimal Sort

Ajouter des cartes, Websort

Il est aussi possible de prévoir une description de chaque carte ou une image :

• La description va venir préciser le libellé, mais j’aurai tendance à dire que si le libellé n’est pas explicite, il y a déjà un souci.
• Les images ; C’est généralement utilisé si vous voulez faire un tri par carte sur des icônes. C’est donc les icônes qui sont triées et non les libellés.

Les catégories

Classiquement, c’est à l’utilisateur de créer les catégories et de les nommer. Cela permet d’avoir des libellés qui sont pertinents pour les utilisateurs. Donc, je vous conseille de laisser libre l’utilisateur dans ces choix. Il faut avoir à l’esprit que les choix d’un utilisateur qui ferait beaucoup de catégories avec des libellés trop précis seront « dilués » dans l’ensemble des résultats. Il n’y a donc pas d’inquiétudes à avoir, au pire la phase de nettoyage est là pour ça !

Création de catégories ? Optimal Sort

Création de catégories ? Websort

Il existe des cas où malheureusement, on n’a pas trop le choix des catégories, soit parce que c’est imposé par le marketing, le chef, l’usage, le SEO,… (Rayez les mentions inutiles.), soit parce qu’on a un existant et que l’on souhaite le garder. Il est possible de proposer des catégories et de laisser la possibilité à l’utilisateur d’en créer. On voit alors si les catégories proposées sont pertinentes ou si une majorité des utilisateurs classent autrement les cartes.

Les textes

Il va falloir plusieurs textes d’accompagnement du tri par carte :
– Pour l’emailing afin d’inviter les participants.
– Pour introduire le tri par carte et expliquer le fonctionnement (découpé en plusieurs dans Optimal sort).
– Pour remercier l’utilisateur.

Saisi des textes, Optimal Sort

Saisi des textes, Websort

Des exemples de textes.

Pour l’emailing :

« Dans le cadre de l’amélioration de notre site monsite.com, nous réalisons une étude en ligne avec l’aide des utilisateurs.

Pour participer à l’étude rendez-vous sur cette page : http://xxxxx

Vos réponses nous aideront à mieux comprendre comment notre site devrait être organisé afin de le rendre plus facile à utiliser. Cela ne devrait pas vous prendre plus de 10 à 15 minutes.

formule de politesse »

Pour l’accueil :

Nous vous remercions de participer à cette étude. Elle porte sur un site de barbecues japonais. Cela ne devrait pas vous prendre plus de 10 à 15 minutes. Vos réponses nous aideront à mieux comprendre comment notre site Web devrait être organisé afin de le rendre plus facile à utiliser. Vous trouverez les instructions sur la page suivante.

Pour les instructions (pour Optimal sort) :

– Étape 1 : Regardez rapidement la liste des éléments sur la gauche. Nous aimerions que vous classiez ces éléments dans des groupes qui font sens pour vous. Il n’y a pas de bonne ou mauvaise réponse, Faites ce qui vous vient naturellement, rapidement.
– Étape 2 : Lorsque vous êtes prêt, faites glisser un élément de la gauche vers la droite pour créer votre premier groupe.
– Étape 3 : Si vous savez déjà comment vous voulez appeler ce groupe, cliquez sur le titre pour le renommer. Sinon, vous pouvez le faire plus tard.
– Étape 4 : Maintenant, vous pouvez mettre plus d’éléments dans ce groupe, ou faire plus de groupes. C’est à vous! Lorsque vous avez terminé, cliquez sur « Terminer » (en haut à droite). Le résultat sera enregistré, et vous serez redirigé vers le site monsite.com.

Les remerciements :

Vos réponses ont bien été prises en compte.
Merci encore pour votre participation. Votre aide est très précieuse pour que nous puissions rendre notre site plus facile à utiliser.

Evidemment les barbecues japonais sont un exemple à remplacer par le contenu de votre site en restant générique. C’est pour voir ceux qui suivent encore.

Les paramètres du tri

Optimal Sort permet configurer là, plus de choses que Websort.

• L’identification, dans les cas vous pouvez demander différent mode d’identification, mais il faut savoir que ce n’est pas vérifié par les logiciels, donc l’intérêt est limité.
• Les conditions de clôture du tri : date, nombre de participants ou à la main.
• La possibilité pour l’utilisateur de laisser des cartes non triées. Si l’utilisateur doit trier toutes les cartes, il est probable que vous voyez apparaître une catégorie « poubelle » qui regroupera les cartes qui n’ont pas trouvé de catégories.
• Présenter les cartes dans un ordre aléatoire. Je vous conseille de cocher cette option. Si les cartes sont présentées par ordre alphabétique, les utilisateurs vont commencer par toujours traiter les premières. Ils arriveront à la fin, toujours sur les mêmes cartes et éventuellement les bâcleront un peu. Simplement, vous aurez un effet lié à l’ordre avec des groupes constitués sur les premières cartes. Les dernières cartes étant rangées dans ces groupes.
• Dans les versions payantes, il est possible de personnaliser les questionnaires avec un logo ou une couleur.

Optimal Sort permet de poser des questions avant ou après le tri par cartes. Cela peut être intéressant pour mieux connaitre les utilisateurs qui ont répondu, mais il faut éviter de demander tout et n’importe quoi. Et si le marketing vous harcèle pour pouvoir poser plein de questions, mettez les questions après le tri par cartes.

Création de questionnaires, Optimal Sort

Le tri par cartes

Voila, il ne vous reste plus qu’a lancer le tri par carte et faire un emailing pour inviter vos utilisateurs, diffuser l’adresse sur les réseaux, etc. Ces fonctions ne sont pas présentent dans les logiciels et tant mieux, donc débrouillez vous.

Optimal Sort permet de donner accès au suivi des résultats à une tierce personne, suivant différentes possibilités : URL, mot de passe ou public. C’est très utile quand vous avez besoin de partager et de montrer ce qui se passe à un client. Il peut de lui même voir le nombre de réponses et si besoin relancer ses utilisateurs.

Accès aux résultats, Optimal Sort

Mais combien d’utilisateurs sont nécessaires ?

En théorie, il faut un nombre d’utilisateurs qui soit suffisamment important pour être représentatif de la population des utilisateurs finaux et suffisant pour avoir une validité statistique (Que les effets dus au hasard soit nivelé par le nombre).

Maintenant, dans la pratique je donnerai plusieurs seuils (en comptant que les réponses valides) :

• Avec 10 personnes, vous avez déjà un classement qui se met en place et des catégories qui émergent. Si vous êtes en début de projet, sur un sujet neuf ou avec une population très homogène, ça peut suffire pour travailler, mais la validité reste faible. Les écrans Websort qui illustrent cet article, présentent une étude avec 10 utilisateurs.
• À 30 personnes, vous passez le seuil où les résultats statistiques vont commencer à ressembler à quelque chose. En plus avec un peu de chance, votre échantillon d’utilisateurs sera assez représentatif pour s’approcher de la population cible. Les écrans Optimal sort qui illustrent cet article, présentent une étude avec plus de 30 utilisateurs.
• À plus de 100 personnes, c’est Noël ! Par contre le travail de nettoyage va commencer à sérieusement prendre du temps.

Les résultats

Le principe du tri par carte est le suivant. Les cartes citées le plus souvent par les utilisateurs dans un même regroupement sont considérées comme plus « proche », avec une corrélation plus forte. Cela permet de représenter graphiquement le tri par cartes sous la forme d’une arborescence.

Nettoyage

La première étape à la fin du tri, est de nettoyer les résultats.

Dans un premier temps, il est nécessaire de regarder si toutes les réponses sont cohérentes. Optimal Sort permet de voir qui à fini ou non de répondre au tri. Les résultats partiels sont aussi enregistrés mais pas forcément pris en compte. À l’inverse, une réponse validée peut être très partielle et ne porter que sur un faible nombre de cartes avec très peu de catégories.

Pour faire ce tri, on peut se baser sur plusieurs critères :

• Le nombre de catégorie, si l’utilisateur en a fait beaucoup ou très peu, c’est qu’il n’a pas vraiment fait de regroupements ou à l’inverse il a fait de grand groupe en mettant en vrac les cartes dedans.
• Le temps mis : un temps trop court (par rapport à la moyenne) sera signe d’un classement bâclé. Trop long, il se peut que l’utilisateur soit allé faire autre chose pendant un moment.
• Les libellés s’ils sont trop génériques, « autres cartes », « je ne sais pas », « trucs », ou des libellés qui reprennent les libellés des cartes.

Liste des participants, Optimal Sort

Il faut aussi trier et regrouper les catégories proposées par les utilisateurs. Ils vont proposer des libellés proches, mais pas forcément identique : « Les formations » et « Formation », « Actus » « Actualités », « ACTUALITES » voir aussi « News ». Que se soit Websort ou Optimal sort, les logiciels ne font pas le tri automatiquement. Il faut donc le faire à la main en regroupant les catégories qui vont ensemble sous un même libellé.

Regrouper (« merge ») les catégories, Websort

Matrice des corrélations, carte par carte

Les deux logiciels donnent une matrice des corrélations carte par carte. Ces matrices permettent de voir combien de fois une carte a été citée avec une autre. À 100, les deux cartes ont toujours été cité dans la même catégorie, à 50 une fois sur deux, etc.… Ces matrices ne sont pas très lisibles en soit, mais elles permettent de vérifier des corrélations entre certaines cartes et surtout de construire les dendrogrammes.

Matrice carte par carte, Optimal Sort

Matrice carte par carte, Websort

Dendrogramme

Le résultat principal du tri par carte se présente sous la forme d’un dendrogramme. C’est un « arbre » où chaque feuille représente une carte. Les cartes sur une même branche ont été citées le plus souvent dans la même catégorie. Il faut alors décider à partir de quel seuil de l’arbre on va considérer les branches. Plus le seuil, c’est à dire la corrélation entre deux cartes, est haut, plus les catégories sont nombreuses, cohérentes mais avec peu de cartes. Dans l’exemple ci-dessous, on a fait varier légèrement le seuil pour passer de 6 à 8 catégories.

Dendrogramme avec 6 ou 8 catégories

Websort propose un dendrogramme assez simple à lire. Il est possible de choisir en haut le nombre de catégories que l’on souhaite voir. L’alternance de couleurs permet de les visualiser.

Dendrogramme, Websort

Optimal sort proposent deux représentations du dendrogramme différentes. Ces représentations me paraissent moins lisibles que celle de Websort, mais plus précises. Notamment, on peut afficher les libellés proposés par les utilisateurs et le niveau de corrélation.

Dendrogrammes, Optimal Sort

Ces deux présentations ont une utilisation différente, la première (AAM) va donner des catégories précises et valides. la deuxième (BMM) donne les regroupements possibles comme Websort.

L’aide d’Optimal sort précise bien cela :

Alors, quelle est la différence entre l’AAM et BMM ?

Si 10 participants ont trié leurs cartes {A, B}, {C} et 10 autres participants {A}, {B, C}, l’algorithme de AAM vous dira que {A, B, C} n’est pas une très bonne catégorie, car personne qui n’a créé cette combinaison exacte de cartes, tandis que l’algorithme BMM vous dira que {A, B, C} est une bonne catégorie parce que chaque participant la trouve partiellement acceptable.

Les deux algorithmes génèrent des interprétations différentes des résultats, mais d’une manière générale, la capacité de BMM à faire des compromis et extrapoler vous permet d’exploiter au mieux des réponses mineures ou incomplètes, alors que AAM vous donne des résultats plus définitifs, globaux, et plus utiles lorsque vous avez un grand nombre de participants.

Cette phase peut aussi permettre de détecter les libellés, les cartes qui ne sont pas comprises. Si l’utilisateur doit trier toutes les cartes, il est probable qu’il y est une catégorie « poubelle », dans le cas contraire, ces cartes n’auront pas été triées ou très peu.

Exemple de libellés incompris

Nombre de catégories

Le nombre de catégories est la grande question du tri par carte. Il faut prendre en considération plusieurs éléments.

• Une catégorie ne doit pas avoir trop peu de cartes (moins de 4) ou un excédent de cartes (plus de 20).
• Il est aussi préférable que les catégories soient équilibrées dans une certaine mesure. Donc une arborescence classique va comporter des catégories de 7 à 12 cartes.
• Il est aussi préférable d’avoir une arborescence plus large que profonde. C’est à garder à l’esprit si vous devez faire par la suite des sous-catégories.

Cela permet d’avoir une idée du nombre de catégories, mais il faut voir comment les catégories se composent. Pour un même seuil de corrélation, vous pouvez avoir une catégorie où vous avez 20 cartes et une avec 4 cartes. Il faut alors envisager, pour la catégorie de 20 cartes, de la couper en deux ou en trois, en utilisant une corrélation plus élevée.

Il arrive parfois que le nombre de catégories soit contraint, soit parce que le site doit présenter des onglets (Et donc une certaine largeur), soit pour d’autres raisons. Il faut donc envisager de faire des sous-catégories. Dans ce cas on peut procéder comme précédemment en recoupant une catégorie plus grande.

Websort permet de choisir le nombre de catégories, avec le dendrogramme, ce qui permet de jouer et de voir rapidement ce que donne le découpage.

Dans Optimal Sort, plusieurs possibilités s’offrent pour tester le nombre de catégories. Avec le dendrogramme AAM, des catégories sont proposées. Ces catégories peuvent donner une première idée de découpages. Il est aussi possible de choisir le nombre de catégories et de voir ce que les utilisateurs ont proposé pour ce nombre de catégories. Le logiciel propose alors les trois catégorisations les plus acceptables.

Approche centré sur l’utilisateur PCA, Optimal Sort

L’avantage de cette approche, c’est qu’elle permet de voir à la fois les catégories, les cartes par catégories et les libellés possibles pour ces catégories.

Cartes par catégories

Vous avez les catégories, il faut maintenant vérifier que le contenu de chacune est cohérent et qu’il n’y a pas une ou deux cartes se soient perdu en chemin.

• Première étape, relire les catégories. C’est simple, mais ça marche. On trouve souvent quelques cartes bizarrement classées ou égarées.
• Il est intéressant de regarder les cas où les utilisateurs ont utilisé des stratégies différentes pour classer les cartes. Cela permet de comprendre la construction des catégories et de détecter les cartes qui peuvent être classées dans différentes catégories.
• On peut aussi utiliser le tableau qui croise les catégories avec les cartes. Pour chaque carte il faut regarder le pourcentage ou le nombre de fois que la carte a été citée dans la catégorie. Il se peut qu’une carte soit citée autant de fois dans deux catégories ou qu’elle soit citée peu de fois dans beaucoup de catégories.

Catégorie par carte, Optimal Sort

Catégorie par carte, Websort

Optimal sort permet aussi de voir pour chaque catégorie, les cartes qui la composent et le nombre de fois que ces cartes ont été cités. Cela va dépendre des regroupements que vous avez effectués lors du nettoyage, mais ça peut venir compléter votre analyse ou vous aider à trouver les bons libellés.

Les libellés des catégories

Le gros du travail est maintenant fait. Il va falloir finaliser en trouvant les libellés de chacune des catégories. Pour cela, plusieurs approches sont possibles et complémentaires.

Prenez les catégories existantes et regarder les cartes qu’elles contiennent. La stratégie de conception des catégories permet de voir comment les cartes ont été regroupées et donc de trouver des libellés correspondant à ces stratégies.

Websort et Optimal sort permettent de voir pour chaque libellé de catégories combien de participants ont proposés ce libellé, combien il y a cartes dans la catégorie et de cartes uniques. Cela permet de confirmer la validité d’un libellé.

Vue des catégories, Optimal sort

Optimal sort propose plus d’éléments pour travailler sur les libellés. La vue « PCA » (voir ci-dessus, le nombre de catégories) qui propose les catégories faites par trois utilisateurs les plus représentatifs est intéressante pour cela. Pour chaque catégorie, le libellé de l’utilisateur est proposé ainsi que les libellés les plus proches.

Par la suite est possible de compléter cette première analyse avec les approches suivantes :

• Pour chaque carte, regarder dans quelles catégories elles ont été placées par chacun des utilisateurs. Websort, comme Optimal sort ne permet pas de le faire directement. Il faut donc télécharger les fichiers et regarder dans les détails.
• Il est aussi possible de rechercher les synonymes des libellés proposés par les utilisateurs pour trouver des termes plus « pertinents ». Mais le risque est que cette démarche dénature le tri par carte qui s’appuie justement sur les avis des utilisateurs. les synonymes peuvent être moins compréhensibles que les termes initiaux.
• D’autres facteurs peuvent influer sur le choix des libellés comme le marketing, le référence du site ou certaines considérations commerciales. De même, il peut être nécessaire de vérifier les droits d’auteurs, de marques et les aspects juridiques.
• Si vous travaillez sur des services liés à des métiers ou des activités particulières, il est probable qu’il existe des termes standards qu’il faudrat nécessairement utiliser.

Dans le monde réel,

La méthodologie détaillée ici présente de nombreuses étapes et en ergonomie, en UX Design, il est important de s’attacher aux détails. Mais il est aussi possible d’aller plus rapidement sur certaines étapes. Toutefois, l’étape de nettoyage des données reste essentielle, pour avoir des résultats cohérents.

Dans la pratique, le tri par carte est un moyen extrêmement puissant pour collecter facilement des données à partir d’un échantillon important d’utilisateurs. Il est souvent reproché à l’ergonomie de s’intéresser à des échantillons trop petit par rapport aux études quantitatives de nos amis du marketing. Le tri par cartes apporte une réponse à cette problématique avec des résultats dont la validité en difficilement contestable.

La méthodologie que j’ai expliquée là en détail peut paraître relativement longue, mais dans les faits cela permet de gagner beaucoup de temps. Les choix faits par les utilisateurs évitent des discussions interminables pour savoir si tel libellé est pertinent ou si telle rubrique doit aller avec telle autre rubrique.

Bibliographie

Card Sort Analysis Best Practices, Journal of Usability Studies Vol. 8, Issue 3, May 2013 pp. 69-89