Les normes ISO 20282 1 à 4 définissent la « facilité d’emploi des produits quotidiens ». Le premier chapitre définit les exigences, les autres définissent les méthodes d’évaluation.

Les chapitres de cette norme sont aux nombres de 4. Le premier chapitre est une norme validée, les autres chapitres sont en cours d’expérimentation. C’est-à-dire que l’essentiel est là mais qu’il est nécessaire d’affiner la norme pour rendre plus juste, plus reproductible, plus scientifique !

Cette norme concerne les produits dont l’usage est quotidien, pour le grand public ou une partie du grand public. C’est-à-dire que le sujet est vaste, cela concerne aussi bien la télévision, que le distributeur de billet, la machine à café du bureau ou le lave-vaisselle. Donc des produits incluant ou non une partie logicielle.

Les chapitres

Le premier chapitre :

Donne des exigences et des recommandations concernant la conception des produits usuels faciles à utiliser, où ladite facilité d’emploi traite d’un sous-ensemble du concept d’utilisabilité qui conditionne l’interface utilisateur, en prenant en compte le contexte d’utilisation et les caractéristiques pertinentes de l’utilisateur. Elle est destinée à être utilisée pour le développement de produits usuels, et définit la facilité d’emploi, identifie les aspects pertinents du contexte d’utilisation, et décrit les caractéristiques de la population cible d’utilisateurs susceptibles d’influencer l’utilisabilité.

Cette norme est destinée aux ergonomes, aux concepteurs, aux fabricants ainsi que toutes personnes concernées dans la conception de produits.

Les trois chapitres suivants fournissent les méthodes d’évaluation pour les différentes phases :

• Chapitre 2 : la facilité d’emploi des « produits grand public d’accès et d’utilisation immédiats »
• Chapitre 3 : la facilité d’emploi.
• Chapitre 4 : la facilité d’installation.

Les méthodes d’évaluation sont décrites précisément en termes de méthodologie, d’échantillonnage, de traitements statistiques et de rapports.

Méthodes d’évaluations versus Test utilisateurs ?

Les méthodes d’évaluations décrites dans ces normes diffèrent des tests utilisateurs. Le but de ces méthodes d’évaluation est d’avoir des résultats qui soient prédictifs et donc généralisables à la population parente. Ces méthodes d’évaluation portent sur trois variables mesurables :

• L’efficacité : réussite ou non de la tâche à effectuer (ex : retirer 20 € à distributeur de billet)
• L’efficience : temps mis pour effectuer la tâche.
• La satisfaction : une échelle de satisfaction de -2 à +2 en 5 niveaux.

Les résultats obtenus vont donc être de la forme :

• Taux de succès de l’échantillon sur l’objectif est de 80 %. Le taux de succès minimal sur l’objectif inféré à la population mère est 70 %, avec une confiance de 80 %.
• La durée moyenne de réalisation de l’objectif inférée à la population mère est entre 50 et 100 secondes avec une confiance 80 %.
• La satisfaction globale est de 1,25.

Les résultats sont donc généralisables à la population parente dans une certaine mesure. Cela nécessite un nombre important de sujets, de l’ordre de 20 à 50. Plus le nombre de sujets est important, moindre est la différence entre les résultats obtenus et inférés, pour un même niveau de confiance.

Mais pour chaque sujet la passation est assez courte car il y a une ou plusieurs tâches à réaliser et c’est tout (pas de questionnaires, pas de verbatines,…). Si vous prenez le cas d’un distributeur de billets type SNCF/RATP, avec deux scénarios (recharger un pass navigo et prendre un billet pour aller de A à B), la passation dure maximum un quart d’heure par sujet.

Si vous réalisez des tests utilisateurs classiques avec une dizaine de sujets, vous avez des résultats descriptifs, mais pas prédictifs. Ces tests mettent en évidence des soucis d’ergonomie qui ne sont pas généralisables à l’ensemble de la population. Il est aussi important de noter que les tests utilisateurs doivent mesurer des choses de bases comme la réussite ou l’échec, mais donnent aussi des retours et des observations plus subjectifs.

La méthode d’évaluation ISO 20282 et les tests utilisateurs mesurent des choses bien différentes. C’est comme un baromètre et un thermomètre. Dans le premier cas vous connaîtrez la pression et vous pourrez en déduire le temps, dans le deuxième vous aurez la température, c’est tout.

Vers la certification.

Quel est l’intérêt d’une telle méthode d’évaluation ? L’intérêt majeur notamment pour les industriels est d’aboutir à une certification. Pour cela, il suffirait de fixer des seuils par rapport à la norme. Par exemple, en fixant le taux de succès minimal sur l’objectif inféré à la population mère à 75 % avec une confiance de 90%.

Il faut bien voir que derrière toutes certifications, il y a des enjeux économiques importants. Une fois celle-ci mise en place, des sociétés vont faire les tests de certifications, les produits certifiés sont mis en avant par rapport aux autres, dans les appels d’offres, la certification peut être un critère de choix, le marketing va mettre en avant la certification, etc…

Et dans la pratique ?

Pour avoir vu ces méthodes d’évaluations appliquées sur des services que j’avais spécifiés, il en ressort qu’elles sont très critiques. Les scénarios où ils avaient été nécessaires de faire compromis, notamment pour des raisons techniques ou graphiques, ont obtenu des résultats inférieurs aux scénarios sans compromis. Certains de ces compromis ont entraîné des baisses importantes de l’efficacité de l’ordre de 30% à 50 %. Même si ça reste très subjectif, la baisse est généralement proportionnelle à la distance entre la cible (ce qu’on aurait voulu) et le résultat (ce qui a été fait).

A l’inverse, les scénarios les mieux conçus ont obtenu des scores d’efficacité proches de 100 %. Paradoxalement, il est assez difficile de faire comprendre aux interlocuteurs (non-ergonome, non-concepteur d’IHM) que l’on a obtenu un très bon score parce qu’un travail important d’ergonomie a été réalisé en amont.

« Oui, c’est possible de faire pire ! »

En conclusion,

Il est important de suivre les évolutions de cette norme. C’est la première fois qu’une démarche d’évaluation de l’ergonomie de produits grand public est aussi avancée. Si elle débouche sur une certification, cela permettra d’avoir une mesure de la qualité du travail effectué par les ergonomes et autres designer d’interaction. Ça risque d’être assez violent pour certains !

[mise à jour] Suite à cet article, Cédric et Daniel ont souhaité apporter un certain nombre de précisions à lire par là !