J’ai vu à plusieurs reprises sur divers réseaux sociaux, la diffusion d’un questionnaire en ligne sur le consentement dans les relations sexuelles. Ce questionnaire a attiré mon attention, car deux personnes que je connais ont exprimé leur mal-être après y avoir répondu.

Que ce collectif cherche à faire un état des lieux du consentement c’est une initiative louable. Par contre l’utilisation d’un questionnaire en ligne, dans ce cadre-là, me parait bancale.

Je vais expliquer, rappeler, quelques points de méthodologie et déontologie qui s’appliquent aux questionnaires. Et particulier si vous faites ça en tant que professionnel du facteur humain (ce qui n’est pas le cas du collectif en question, à ma connaissance), vous vous devez respecter certains codes de déontologie comme celui des psychologues ou le code de conduite des professionnels de l’UX.

Le consentement

Pour toute étude, que ce soit un test utilisateur, une expérimentation ou un questionnaire on se doit de respecter cet article du code de conduite :

« Article 9 : Avant toute intervention, le psychologue s’assure du consentement libre et éclairé de ceux qui le consultent ou qui participent à une évaluation, une recherche ou une expertise. Il a donc l’obligation de les informer de façon claire et intelligible des objectifs, des modalités et des limites de son intervention, et des éventuels destinataires de ses conclusions. »

Ça veut dire qu’il faut clairement annoncer pour qui on travaille : « Dans le cadre d’une étude pour le groupe Tartenpion, nous menons une enquête pour comprendre le ressenti des consommateurs sur la texture des tartes afin d’améliorer nos produits. » Après vous compléter avec les informations permettant de vous contacter, le temps de conservation des donnés brutes en mois (pas « jusqu’à tant qu’on ait fini » cf. le RGPD) et bien sûr on anonymise le plutôt possible.

Pour le questionnaire sur le consentement, l’anonymat est respecté, mais le cadre et l’usage sont mal définis. Il est par exemple impossible d’identifier la structure morale, l’association qui a mis en place le questionnaire et qui a accès aux données recueillies ou de savoir dans quel contexte vont être publié les résultats. (Màj : un thread sur tweeter explique ça mise en place.)

Le recrutement

Les questionnaires en ligne posent directement la question du recrutement des répondants. La diffusion sur les réseaux sociaux implique que le questionnaire va atteindre des cercles de proche en proche de sympathisants ou de gens concernés par la problématique que vous posez. Ça ne sera jamais représentatif d’une population donnée.

Dans les répondants sur le consentement, on aura probablement :

• Une surreprésentation de femmes vu que c’est le but affiché du questionnaire.
• Peut être une surreprésentation des féministes, mais on ne pourra pas le savoir, car il n’y pas de questions sur le sujet.
• Une sur ou une sous-représentation des personnes ayant subies des traumatismes lier au non-consentement, parce qu’elles voudront participer, mais un certain nombre d’avertissements les en dissuades.

Quand je fais une étude sur le salaire des UX designers et que je diffuse sur les réseaux. Je recrute des designers certes, mais c’est ceux qui sont en contact avec mes contacts. Ce n’est pas représentatif des UX designers français dans leur ensemble.

Si vous voulez être représentatif d’une population et pouvoir généraliser les résultats, il faut utiliser la méthode des quotas. Vous prenez votre population cible, vous la découpez en catégories (genre, âge, CSP,…) et vous recrutez un échantillon aléatoire qui respecte les mêmes proportions. C’est ce que font les instituts de sondages.

Derrière le recrutement, il y a bien sûr la question des résultats et de leurs validités. Cette question de la validité est centrale dans toutes les études. Si vos répondants font tous partie d’un groupe homogène, vous aurez des réponses avec le point de vue de ce groupe, mais vous ne pourrez pas généraliser en disant « les Français », « les gens ». Il pourra être aussi difficile de faire certaines comparaisons, par exemple, sur l’étude sur les salaires, les femmes sont en moyenne plus jeunes que les hommes. Donc si je fais une comparaison du salaire femme/homme, je vais avoir un effet lié à l’âge. Pour compenser cela, il faut que je compare le salaire des femmes et des hommes d’une même catégorie d’âge, par exemple les 30/35 ans et que j’ai assez de réponses dans chacune des catégories.

Cas particulier du sujet du consentement

Comme je l’évoquais en début d’article, le consentement est un sujet sensible, car il peut rappeler des souvenirs ou des moments traumatisants et douloureux. Plusieurs avertissements sont présents dans le formulaire à ce sujet.

« Attention, cette enquête aborde les violences sexuelles et peut réactiver un traumatisme. À l’issue de l’enquête, plusieurs n° utiles vous sont proposés. »
« Cette enquête peut réveiller des souvenirs difficiles. N’hésitez pas à arrêter si c’est trop douloureux. »

Mais est-ce suffisant ? On peut se référer au code de déontologie des psychologues :

Article 53  : Le chercheur veille à analyser les effets de ses interventions sur les personnes qui s’y sont prêtées. Il s’enquiert de la façon dont la recherche a été vécue. Il s’efforce de remédier aux inconvénients ou aux effets éventuellement néfastes qu’aurait pu entraîner sa recherche.

« Chercheur » n’est pas un titre protégé réservé aux universitaires. À partir du moment où vous posez des hypothèses et que vous mettez en œuvre des moyens pour valider ou invalider ces hypothèses, vous faites de la recherche.

Par rapport au questionnaire sur le consentement, je pense qu’une démarche un peu plus coercitive aurait été la bienvenue avec une question du type « Est-ce que vous avez déjà subi des moments traumatisants et douloureux liées au non-respect de votre consentement ? » et si la réponse est positive une réorientation vers une page d’explication : « Les questions de notre étude vont probablement créer un mal-être. Nous ne sommes pas en mesure de remédier à ces effets néfastes. Nous vous demandons donc de ne pas tenter d’y répondre. » Et cela n’étant pas incompatible avec la présence de n° de téléphones en fin d’enquêtes, parce qu’on sait bien que certains vont passer outre les avertissements et que d’autres n’avaient pas forcément conscience de la gravité des situations évoquées.

Il peut être opportun de limiter l’étude à des situations faiblement ou moyennement conflictuelles et d’exclure les situations les plus graves, avec la difficulté de placer correctement le curseur.

En tant que psychologue, ça pose la question de savoir si un questionnaire en ligne est la bonne méthodologie pour recueillir des informations sur le consentement, sans créer d’effets néfastes.

Divulgachage : Pour moi, la réponse est non, ce n’est pas le bon moyen.

Un questionnaire, pour quoi faire ?

Avant de se lancer dans une étude, il est nécessaire de se poser un peu et de mettre les choses à plat :

• Pourquoi on fait cette étude ? Pour se faire de la publicité ? Pour recueillir des informations ? Parce qu’on prépare autre chose ?
• Elle a pour objectifs de répondre à quelles questions ?
• Qui est le public que nous ciblons ? Et comment l’atteindre ?
• Est ce qu’on a déjà des sources d’informations, des articles scientifiques sur le sujet ? Qu’est-ce que ça raconte ?

Quelles hypothèses faisons-nous ? Une hypothèse peut se décliner sous la forme :

• « Je fais l’hypothèse que le groupe A est plus sujet à ce type de comportement que le groupe B »
• «  Je fais l’hypothèse qu’avec l’âge, ce type comportement diminue »

Idéalement, il faut avoir pour chaque hypothèse une variable indépendante (homme/femme) et une variable dépendante à mesurer (occurrence du comportement).

Mais pour poser correctement ces hypothèses, il faut avoir déjà une bonne connaissance du sujet. Donc normalement on commence par un état de l’art, puis une étude exploratoire, sous la forme d’entretiens individuels par exemple, avant de diffuser un questionnaire. Un questionnaire en ligne avec des questions fermées arrivera souvent en bout de processus. Dans un questionnaire, vous ne pourrez recueillir que les réponses aux questions que vous posez, ce qui a des avantages, mais aussi l’inconvénient passer à côté d’informations clefs.

Bien sûr, il faut être en mesure de traiter les réponses que vous allez recevoir. Il faut donc que vous prévoyiez ce que vous allez faire comme traitements statistiques : des moyennes, des médianes ? Des pourcentages par catégories ? Des comparaisons ? Des corrélations ? Une analyse sémantique ? C’est bien sûr en lien avec vos hypothèses.

• « Je fais l’hypothèse que le groupe A est plus sujet à ce type de comportement que le groupe B »
Là, il va falloir faire un test du khi-2 pour vous assurer que l’effet observé est lié au groupe et non au hasard.
• « Je fais l’hypothèse qu’avec l’âge, ce type comportement diminue »
Là, vous allez vérifier qu’il y a une corrélation valide entre l’âge et la fréquence du comportement. Ce qui ne vaut pas dire qu’il y a une causalité !

Donc ce n’est pas trivial de juste mettre en place un questionnaire pour répondre correctement aux bonnes questions.

Construisons un questionnaire

Bon, cette fois c’est bon, vous avez validé tous les points précédents, il faut s’attaquer à la construction du questionnaire. Il va falloir pour cela s’assurer de quelques points et de prendre en compte quelques biais.

La validité interne

Premier point, il faut s’assurer que le questionnaire mesure bien ce qu’il est censé mesurer. Par exemple, si vos questions sont écrites avec des termes techniques, partisans ou avec des tournures trop complexes, comme des doubles négations, vous aller mesurer la capacité de compréhension des répondants et non la véritable question.

Il est conseillé de tester son questionnaire auprès d’un échantillon avant de le déployer à grande échelle. Pour ça vous le faites passer à une dizaine de personnes, puis vous passez en revue toutes les questions avec les répondants de l’échantillon, en demandant par exemple :

• Est-ce que des questions ont paru ambiguës ?
• Est-ce que vous avez hésité avant de répondre à certaines questions ? Pourquoi ?
• Est-ce que vous pourriez me reformuler cette question ?
• Est-ce que vous pourriez me donner un exemple ?

On corrige et si besoin on reteste. Oui, ça peut être long, mais une fois que le questionnaire est diffusé, si une question est changée, vous pouvez jeter les réponses précédentes.

Les biais

Il faut savoir que les questionnaires vont vous apporter des réponses qui seront de toute manière biaisées. C’est-à-dire qu’il y aura toujours un décalage entre les faits et la réponse apportée. Ce décalage peut-être minime ou important, positif ou négatif. Lors de la construction du questionnaire, on va essayer d’amoindrir ces biais.

Quelques exemples de questions sur le consentement :

« À propos de votre premier rapport sexuel : diriez-vous que celui-ci était désiré et consenti ? »

Qu’est-ce qui peut biaiser cette question ? Il y a plusieurs éléments à prendre en compte :

• Déjà, la temporalité, cet événement peut remonter à plusieurs dizaines d’années et vous pouvez en garder un souvenir plus ou moins précis. Si ça n’a pas donné lieu à une révélation mystique ou à un traumatisme, il est probable que ce soit un simple souvenir dont vous avez oublié les détails. Les souvenirs normaux (je ne parle pas des traumatismes) sont malléables, vous pouvez en oublier une partie, en reconstruire une autre en y intégrant d’autres points de vue. La mémoire est loin d’être parfaite. Globalement, plus c’est vieux, plus c’est normal, moins vous avez de chances de vous en souvenir. Les événements saillants, incongrus sont bien mieux mémorisés que les événements normaux. Si je vous demande de vous souvenir de la semaine passée, vous allez probablement me citer les événements inhabituels avant de me parler de la tartine que vous prenez tous les matins au petit déjeuner.
• Cette question comporte en fait deux questions « désiré » et « consenti ». C’est deux conditions différentes. Est-ce que les deux doivent être remplis pour répondre oui ? De plus la 1er fois un souvent un moment où les émotions sont plus complexes que le simple désir de l’autre.
• La réponse est dans la question « désiré et consenti ». C’est orienté vers une réponse positive. On pourrait faire une question avec plusieurs réponses sur échelle de « imposé » à « consenti ». Même si sur ce genre d’échelle, les répondants auront tendance à répondre de manière positive.
• Dans le contexte de l’étude, la formulation peut paraitre ambiguë, soit le répondant l’interprète en « J’étais consentent lors de mon 1er rapport » Si la réponse est non, c’est problématique. Soit le répondant l’interprète en  » L’autre est-il consentant lors de ce 1er rapport ? » et donc en claire « Est-ce que j’ai commis une agression ? », c’est problématique (Cf le début de l’article). Mais sans aller jusque là, en cas d’absence de souvenir précis, la réponse va être biaisée par la désirabilité sociale, l’image qu’on a de soi vis-à-vis de la société et donc on va répondre positivement.

« Au cours de votre vie, avez-vous déjà ressenti une pression de la part d’un partenaire pour avoir un rapport sexuel ? »

La notion de temps, de probabilité et de fréquence :

• On demande l’apparition d’un événement unique sur une période plus ou moins longue en fonction de l’âge du répondant, donc plus vous serez âgés plus il sera probable que vous ayez rencontré cette situation. Il serait préférable de préciser une période plus ou moins longue « Au cours de l’année passée, avez-vous ressenti une pression… » ça permet de rétablir un équilibre entre les répondants vieux ou jeunes et si besoin de pouvoir comparer. Dans le premier cas, on sera tenté de généraliser en disant « 50% des femmes ont ressenti une pression pour avoir un rapport sexuel » alors que la bonne interprétation est « 50% des répondantes à ce questionnaire ont ressenti une pression pour avoir un rapport sexuel au cours de leur vie ». Dans le deuxième cas, on pourra dire par exemple « Parmi les répondantes, les trentenaires subissent plus de pression pour avoir un rapport sexuel que les cinquantenaires »
• On peut aussi poser la question en termes de fréquence : « Au cours de l’année passée, combien de fois avez-vous ressenti une pression… » « aucune, 1 à 5 fois, 6 à 20 fois, plus de 20 fois ». On évitera les « fréquemment » « beaucoup » « un peu » qui sont des notions variables.

«Avez-vous déjà eu l’impression d’avoir des rapports sexuels, sans pression de votre partenaire, alors que vous n’aviez pas envie ? »

Chercher les éléments factuels :

• Attention aux formulations du type « Avoir l’impression » « Pensez-vous que… » on s’éloigne du factuel pour rentrer dans le ressenti qui serait favorable à l’interprétation. On peut reformuler la question en «Avez-vous déjà eu des rapports sexuels, sans pression de votre partenaire, alors que vous n’aviez pas envie ? » sans perdre du sens.
• La question « Un partenaire a-t-il déjà enlevé un préservatif avant la fin d’un rapport sexuel malgré votre désaccord ? » a l’avantage d’être factuelle. « enlevé un préservatif » est un fait, exprimer « votre désaccord » est aussi factuel.

Les biais vont être exacerbés par le sujet sensible, mais il peut être aussi pertinent d’utiliser des outils en ligne pour recueillir ce type d’information. Pas forcement un questionnaire, mais par exemple un entretien en utilisant le mail peut être une bonne idée, car ça permet d’avoir des réponses plus posées, plus fouillées que lors d’un entretien en face à face où la désirabilité sociale sera exacerbé.

La validité externe

Votre questionnaire a été diffusé, vous avez plein de réponses, c’est parfait. Vous commencez à analyser les réponses en fonction de vos hypothèses… Et là, il va falloir comparer tout ou une partie de vos résultats à d’autres études, à d’autres statistiques déjà publiées. Soit vos résultats vont dans le même sens et c’est rassurants même si vous pouvez avoir fait les mêmes les erreurs que les autres. Soit vos résultats vont à l’inverse de l’existant, et dans ce cas-là, il faut sérieusement commencer à ce poser des questions sur la méthodologie employée et vérifier que vous n’avez pas fait d’erreurs.

Dans le cas d’un sujet « récent » comme consentement, ça peut être un peu compliqué de trouver des éléments de références qui portent sur le même périmètre, mais on trouve généralement des sujets proches dans d’autres pays ou avec un cadre méthodologique différents (ex sociologie vs psychologie).

Ma conclusion

Le questionnaire sur le consentement me parait bancal en termes de construction et de recrutement. Pour un sujet de cette importance, il serait souhaitable d’avoir une étude qui soit construite dans les règles de l’art par des professionnels avec les garanties qui vont avec en termes de validités et de déontologies, mais ça demande des moyens financiers. Attendons de voir l’exploitation des résultats pour en tirer des conclusions plus définitives.

Quelque le soit le sujet que vous abordez, la question de la validité des réponses reste centrale dans la réalisation d’un questionnaire. Ne nous leurrons pas, l’aspect financier joue dans l’équitation. Si vous avez les moyens de recruter un échantillon avec la méthode des quotas, vous aurez des résultats plus pertinents qu’en diffusant un questionnaire en ligne. C’est d’ailleurs un reproche qui est fait aux études en psychologies, faute de moyens une grande majorité sont réalisées avec comme cobayes des étudiants en psychologie… Les résultats ne sont peut-être applicables qu’aux psychologues au final ?