Suite à la publication du billet sur l’application iPhone de la Société Générale, j’ai regardé régulièrement les avis publier sur iTunes. Que peut-on en tirer comme enseignements ? Que donne la comparaison avec d’autres apps du même secteur ?
iTunes permet de donner son avis sur chaque application que vous avez téléchargé, mais pas nécessairement utilisé. Vous pouvez donc donner une note de 1 à 5 étoiles allant de « je déteste » à « j’adore » et laisser un commentaire.
Les avis sur « l’appli ».
Dans le cas de « l’appli », (c’est décidément nul comme nom) j’ai relevé à plusieurs reprises les avis pour voir l’évolution. Cela donne le tableau suivant. Attention, les dates ne sont pas à intervalles réguliers.
| Date | 27/06/10 | 07/07/10 | 20/07/10 | 24/07/10 | 09/08/10 |
|---|---|---|---|---|---|
| Moyenne des avis | 0,261 | 0,161 | 0,131 | 0,099 | 0,054 |
| 5 étoiles, 2 | 65 | 60 | 166 | 181 | 234 |
| 4 étoiles, 1 | 37 | 49 | 106 | 113 | 144 |
| 3 étoiles, 0 | 18 | 25 | 68 | 72 | 99 |
| 2 étoiles, -1 | 9 | 9 | 39 | 44 | 62 |
| 1 étoile, -2 | 55 | 56 | 160 | 191 | 270 |
Un calcul de la moyenne des avis permet de voir l’évolution. Pour cela, on donne un poids à chaque avis :
- J’adore : + 2
- J’aime : + 1
- Pas mal : 0
- N’aime pas : -1
- Je déteste : -2
On notera que le niveau moyen, 3 étoiles, n’est pas vraiment neutre comme le pourrait faire croire l’échelle impaire.
Avis sur « l’appli »
Qu’en penser ? On peut observer plusieurs choses :
- Les chiffres, dans l’absolu, ne sont pas significatifs. 0,25 sur une échelle de -2 à +2, c’est moyen, mais moyen plus ou moyen moyen ? Comme qui dirait : »Avec la tête dans le four et les pieds dans l’azote liquide, en moyenne, on est à la bonne température. »
- Les avis sont soit très positifs, soit très négatifs dans une proportion assez égale notamment sur les 1 et les 5 étoiles. Cela peut être interprété de différentes manières, mais la présence de nombreux mécontents est souvent signe d’un dysfonctionnement soit technique, soit ergonomique (exemple : une étape bloquante, une fonction qui semble ne pas fonctionner). Avoir des avis divergents est aussi le signe que les avis n’ont peut être pas été posté dans les même conditions, avant et après usage ? Sur iPhone ou sur iTunes PC ? Par des clients SG ou des non-clients ?
- L’évolution ? Le fait que la moyenne soit en baisse montre, sans doute, qu’une fois l’effet de nouveauté passé, « chouette un cadeau », on retombe dans l’usage réel. On peut, par exemple, faire la différence entre le 24 juillet et le 9 août, pour n’avoir que les avis postés entre ces deux dates :
- J’adore : 55
- J’aime : 31
- Pas mal : 26
- N’aime pas : 18
- Je déteste : 82
- Moyenne : -0,394
La lecture des commentaires permet aussi d’identifier les problèmes récurrents rencontrés par les utilisateurs et les causes d’insatisfaction.
Et par rapport aux autres ?
J’ai pris 3 autres applications du domaine bancaire : Cortal, BNP et Crédit Mutuel. Le but étant de comparer les avis des « téléchargeurs » et ma perception de l’ergonomie.
Comparaison des avis de 4 Apps bancaire.
La différence d’appréciation entre les applications est assez marquée, mais attention à ne pas tirer de conclusions erronées. Est ce que la BNP fait moins bien que la SG, dans l’absolu oui, mais le nombre d’avis émis n’est pas le même, la date de publication non plus. Est-ce que 450 g de patates c’est moins bien que 500 g de tomates pour faire un repas ?
Si on regarde de plus près, par exemple, l’application faite par Cortal, on s’aperçoit que l’interface est plus proche des standards prescrits par Apple dans son guidelines. L’application est clairement orientée trading. C’est normal, les clients de Cortal sont essentiellement des petits porteurs qui boursicotent plus ou moins.
Une observation succincte de l’application confirme les avis des utilisateurs. Elle est mieux conçue, donc naturellement elle est mieux notée.
Qu’en penser, en tant que concepteur ?
Pour en revenir à la question d’origine, il est clair qu’il faut prendre un certain recul avec les avis publiés.
Une proportion importante d’avis très négatifs est une alerte à ne pas négliger. La lecture des commentaires associés vous mettra sur la piste, mais il ne faut pas nécessairement les prendre au premier degré. « Ça ne marche pas ! » peut signifier « Je ne suis pas arrivé au bout de la procédure, mais je ne m’en suis pas aperçu. »
Une petite analyse de ces avis, ainsi qu’une lecture des commentaires peuvent être aussi profitables que des tests utilisateurs, si vous avez « oublié » d’en faire.
Observation très intéressante, bravo pour cet article.
Ceci dit, je me permets une petite observation issue d’une discussion que j’ai eu avec un développeur iOS.
Ce dernier m’a appris qu’il avait été contacté à plusieurs reprises par des sociétés proposant d’ajouter des commentaires élogieux et des notes élevées à son application sur l’App Store, moyennant rémunération.
Il semblerait donc que le jeux soit ici partiellement faussé par des « prestataires » remontant artificiellement la cote de certaines applications. Rien, en effet, ne garanti l’authenticité des commentaires.
Pour ma part, je prend le système d’évaluation avec beaucoup de recul et préfère me reporter sur des articles de tests comme ceux de MacGénération ou d’autres bloggeurs. Certes, ces derniers sont aussi susceptibles de « manipulations » mais ils ont une réputation à protéger contrairement aux utilisateurs de l’App Store.
C’est initialement pour ça que j’ai suivi les avis de la Société Générale. Je les trouvais élogieux pour une apps médiocre. Sans passer par une agence, la simple diffusion de l’information au sein d’une grande entreprise doit suffir.