Raphaël,

Ta note sur l’ISO 20 282 (Facilité d’emploi des produits quotidiens) permet de mettre en lumière une norme qui est encore assez méconnue dans le domaine de l’industrie des produits et services du quotidien et plus généralement l’évaluation dite « sommative ». Il nous semble intéressant d’éclaircir certains points afin de mieux comprendre les enjeux de cette norme.

Le test d’utilisabilité : une méthode d’évaluation

Les méthodes d’évaluation que décrit cette norme ne nous paraissent pas être en opposition avec les tests utilisateurs. En fait, il existe différentes méthodes d’évaluation de l’utilisabilité parmi lesquels on trouve les tests d’utilisabilité. Mais le fait que tu parles de tests utilisateurs plutôt que de tests d’utilisabilité a probablement du sens : on constate que l’objet de l’investigation se rapporte désormais moins à l’utilisabilité qu’à l’utilisateur, voir même au client. Les résultats concernent plus l’avis des clients que l’utilisabilité objective. La norme remet donc les pendules à l’heure et cible l’utilisabilité (plus particulièrement l’efficacité), en se concentrant sur les objectifs principaux du point de vue de l’activité.

Pouvoir conclure sur la réalité des problèmes rencontrés

Comme tu le soulignes, l’apport important des méthodes présentées dans la norme est de permettre l’obtention de résultats fiables. Il faut rappeler que les tests d’utilisabilité habituellement pratiqués n’utilisent pas des méthodes permettant de conclure sur la réalité des problèmes rencontrés (Wayne et al. 1998). Ce qu’ils permettent de dire, c’est qu’un certain nombre de sujets a rencontré un problème donné. Pour pouvoir dire que l’apparition d’un problème n’est pas liée au hasard, il est nécessaire de recourir à des évaluations statistiques (Bevan 2008). Comme tu l’expliques, ces statistiques permettent d’inférer les résultats obtenus sur l’échantillon à l’ensemble de la population mère en prenant un risque déterminé (niveau de confiance).

Prenons un exemple réel : 16 sujets sur 24 (soit 66,7 %) ont atteint l’objectif principal sur la « MeuhBox ». Le taux de succès minimal sur l’objectif inféré à la population mère est 58,2 % avec un niveau de confiance de 80 % (on a 2 chances sur 10 de faire erreur en disant cela). Ce type d’approche est bien connu par les personnes ayant pratiqué l’expérimentation scientifique. Comparativement à l’expérimentation, il y a toutefois deux différences majeures : le risque pris est plus important (le niveau de confiance est plus bas mais il est possible de l’augmenter) et la taille de l’échantillon est faible (là encore, rien n’empêche de l’augmenter si ce n’est le coût). Or, la norme s’intéresse aux produits usuels et le coût d’un test doit rester au niveau de ce qui se pratique habituellement. Par conséquent, le modèle statistique choisi est adapté aux petits échantillons (entre 10 et 100 sujets).

Un outil de mesure partagé par tous

La mise en œuvre de l’évaluation de l’utilisabilité est très variable (Molich et al. 2004). Lorsque l’on cite l’évaluation de l’utilisabilité, on parle en fait de choses très diverses. L’ISO 20 282 est très directive. Elle permet de partager une même méthode dont la mise en œuvre est standard, normalisée.

En outre, plusieurs tests d’un même service aboutissent à des résultats différents (Molich et Dumas 2008). Et il semble bien que la norme cherche à réduire ce phénomène (une mise en œuvre systématique, des scénarios limités aux objectifs essentiels, le recours aux intervalles de confiance, etc.) afin d’obtenir des mesures reproductibles (ceci restant toutefois à démontrer).

Profiter du savoir faire d’experts internationaux

Pour finir, il faut rappeler que les normes ISO sont conçues par les experts internationaux du domaine. Ici par exemple, Nigel Bevan préside la commission en charge de l’ISO 20 282 et nous savons que Jeff Sauro est mis à contribution, deux spécialistes de renommée internationale sur le sujet de l’évaluation de l’utilisabilité. Cette norme permet de profiter du savoir faire de personnes particulièrement compétentes en la matière.

L’application de la norme ISO 20 282 est une solution efficace pour conclure objectivement sur l’utilisabilité d’un service. Sa mise en œuvre sur les projets industriels permettrait notamment de mettre fin aux incessants débats qui sévissent sur le sujet entre les différents intervenants (souvent non compétents en la matière), d’être dès lors plus réactif et de réduire ainsi les coûts.

Les parties 1- Exigences de conception pour le contexte d’utilisation et pour les caractéristiques de l’utilisateur et 2 – Méthode d’essai pour les produits grand public d’accès et d’utilisation immédiats de l’ISO 20 282 sont au stade « Norme internationale confirmée » ; la partie 3 – Méthode d’essai pour produits de consommation courante est au stade « Norme internationale à réviser » ; la partie 4 – Méthode d’essai pour l’installation de produits de consommation courante est au stade « Norme internationale publiée ».

Daniel Bailleul et Cédric Bertolus.