LÉGIFÉRER CONTRE LA « HAINE » EN LIGNE SUR LES RÉSEAUX SOCIAUX NUMÉRIQUES: LE RISQUE DE LA DISCRIMINATION ALGORITHMIQUE DES MINORITÉS SEXUELLES ET DE GENRE

Virginie Julliard, enseignante-chercheuse au Celsa Sorbonne Université, laboratoire GRIPIC et Thibault Grison, doctorant au GRIPIC

—

Insultes, propos racistes et sexistes, de nombreux messages discriminatoires sont partagés quotidiennement sur les réseaux sociaux numériques. Depuis plusieurs années, des associations se mobilisent pour faire face à ces commentaires haineux et trouver des solutions pour les voir disparaître.

Le 15 février 2021, des militants et militantes féministes, LGBTQ+ et anti-racistes ont initié la saisine de la Défenseure des droits pour l’alerter de la censure dont ils et elles sont victimes sur les réseaux sociaux numériques, alors même que les discours sexistes, anti-féministes, LGBTphobes et racistes ne sont pas suffisamment modérés en dépit des promesses des entreprises du Web. Cet article se penche sur la question de la réglementation relative aux « discours de haine » en ligne et sur le phénomène des « discriminations algorithmiques » dans la modération des contenus publiés dans les réseaux sociaux numériques.

Depuis 2017, la modération de la « haine », de la pornographie et des contenus terroristes en ligne est devenue un enjeu politique majeur sur les scènes françaises et européennes. « L’appel de Christchurch » du 15 mai 2019, à l’initiative de la Première ministre néo-zélandaise Jacinda Ardern et du Président de la République Emmanuel Macron, a d’ailleurs joué le rôle d’un catalyseur dans l’adoption de cadres législatifs contraignants pour les entreprises du web[1]. Commençons donc par détailler cet agenda législatif.

Fortement inspirée de la loi allemande NetzDG adoptée en 2017, la proposition de loi contre les contenus « haineux » sur internet portée par la députée LREM Laetitia Avia et présentée le 20 mars 2019 à l’Assemblée nationale vise à contraindre les grandes entreprises du web à déployer de plus grands moyens dans la modération de leurs plateformes. Ses dispositions phares sont la création d’un ensemble de mesures contraignantes visant à responsabiliser les entreprises du web à l’égard des contenus publiés ou hébergés sur leur site. Sont concernés les moteurs de recherche, les réseaux sociaux numériques et les plateformes collaboratives. Des amendes conséquentes sanctionneraient notamment la non suppression de contenus à caractère « haineux » (infractions déjà présentes dans le droit français) dans les 24 heures suivant leur signalement. Le délai est ramené à une heure dans le cas des contenus faisant l’apologie du terrorisme [2]. La proposition de loi prévoit également la création d’un parquet et d’un observatoire de la « haine » en ligne rattaché au Conseil Supérieur de l’Audiovisuel (aujourd’hui l’Arcom).

La proposition de loi Avia suscite un certain nombre de critiques, émanant aussi bien de l’opposition parlementaire que d’associations de défense et de promotion des droits et libertés sur Internet, ou encore d’associations de défense de droits des minorités. La délégation d’une partie du pouvoir judiciaire à des entreprises privées étrangères et la contrainte d’un retrait des contenus signalés dans un délai de 24h sont particulièrement critiqués. Sur ce dernier point, les associations féministes, LGBTQ+ et anti-racistes soulignent que ce nouveau délai ne correspond pas à la réalité technique de la modération humaine. Il entraînera alors nécessairement un recours accru aux algorithmes dans la modération des contenus, dont elles ont déjà pu mesurer qu’il discriminait les « catégories protégées » [3] .

Déréférencement, invisibilisation, ou censure pure et simple : les formes de discrimination sont multiples et se cumulent d’un réseau social à l’autre mais sont souvent très peu connues.

De fait, la majorité des dispositions de la loi adoptée le 13 mai 2020 sont déclarées inconstitutionnelles par le Conseil Constitutionnel dans son avis rendu le 18 juin 2020[4]. Le motif invoqué est que le texte de loi porte atteinte à la liberté d’expression ; une atteinte qui n’est pas adaptée, nécessaire et proportionnée au but poursuivi. La loi est promulguée le 24 juin 2020.

Certains éléments de la loi Avia invalidés par le Conseil Constitutionnel sont néanmoins repensés et intégrés dans le projet de loi confortant les principes de la République (dite « loi séparatisme »), dans le but d’anticiper la mise en œuvre du règlement européen sur les services numériques (DSA, « Digital Services Act » ) dont le projet a été présenté mi-décembre 2020 devant la Commission européenne. Les contenus visés par la loi confortant les principes de la République recouvrent un vaste éventail de « discours de haine », dépassant les seuls contenus illicites fixés par le cadre pénal aujourd’hui[5].

L’ARTICLE 18

L’article 18 crée notamment un nouveau délit de « mise en danger de la vie d’autrui par diffusion d’informations relatives à la vie privée, familiale ou personnelle d’une personne, permettant de l’identifier ou de la localiser, dans le but d’exposer elle-même ou les membres de sa famille à un risque immédiat d’atteinte à la vie, à l’intégrité physique ou psychique, ou aux biens ». L’infraction est reconnue quel que soit le résultat, et dès lors que l’intention de nuire est avérée, ce qui a pu faire dire à l’opposition que l’article créait une infraction d’intention (Boris Vallaud, député).

Par ailleurs, elle reprend à l’article 19 les nouvelles règles à venir prévues par le DSA et qui avaient été censurées par le Conseil Constitutionnel dans sa décision relative à la loi Avia. Cette nouvelle proposition de loi entend contraindre les plateformes à renforcer les moyens mis en oeuvre pour lutter contre les contenus « haineux » et violents en ligne en simplifiant la procédure de signalement pour les utilisateurs des réseaux sociaux numériques, en imposant un suivi des signalements, plus de transparence sur le recours aux algorithmes (algorithmes qui devraient désormais être soumis à des évaluations annuelles du CSA) et sur la nature des contenus modérés par ces algorithmes. Tant dans la « loi séparatisme » que dans le DSA, l’imposition d’un délai de modération a néanmoins disparu, privilégiant donc une modération au cas par cas ; autrement dit variable selon les plateformes et selon la réglementation locale de chaque pays [6]. En résumé, on retiendra de cette chronologie législative une forte volonté, à l’échelle européenne, de durcir la réglementation de la modération des contenus en ligne. Il faut aussi noter que la lutte contre la « haine » en ligne a pu servir de prétexte à l’Union européenne et à la majorité parlementaire LREM pour se présenter en pionnières dans la législation afin de réguler les GAFAM. L’enjeu est donc également diplomatique. L’emballement politico-médiatique pour ces questions s’explique d’ailleurs par une corrélation entre le développement massif et soudain du recours à l’IA et aux algorithmes et la médiatisation de cas de discriminations structurelles dont les groupes minorisés font toujours les frais en ligne et hors ligne. Paradoxalement, la réglementation de plus en plus stricte de la modération des contenus « haineux » semble parfois se faire au détriment des victimes elles-mêmes.

LE RETOUR DE BÂTON DE LA MODÉRATION DE LA « HAINE » EN LIGNE : LE RISQUE DE CENSURE ET DE DISCRIMINATION ALGORITHMIQUE POUR LES MINORITÉS SEXUELLES ET DE GENRE

Discrimination algorithmique. Il s’agit d’une discrimination en ligne causée par un recours aux algorithmes. Elle résulte d’un « biais algorithmique », consistant en la transformation d’une observation générale (souvent stéréotypée) ou statistique en une condition algorithmique systématique. Les spécifités de ce type de discrimination sont : son opacité, son caractère automatisé et prétendument neutre et le fait qu’elle semble passer en dehors des radars de la loi [7].

La discrimination algorithmique vécue par les personnes LGBT

Depuis 2016 aux Etats-Unis et depuis 2018 en France, la dénonciation des cas de censure des personnes LGBTQ+ sur les réseaux sociaux numériques prend de l’ampleur : démonétisation de vidéos Youtube comportant des mots-clés LGBTQ+[8] dans leur titre ou description, suspension des comptes Twitter de militants LGBTQ+ [9] ou encore plus récemment, invisibilisation de hashtags LGBTQ+ dans certaines langues sur TikTok[10], etc. Déréférencement, invisibilisation, ou censure pure et simple : les formes de discrimination sont multiples et se cumulent d’un réseau social à l’autre mais sont souvent très peu connues. Ce n’est que très récemment que des mouvements de mobilisation contre ces formes de censure numérique ont émergé. En France, la première mobilisation LGBTQ+ contre des algorithmes accusés de reproduire des discriminations homophobes remonte à 2019, quand l’association #SEOLesbienne, luttant contre l’invisibilisation des lesbiennes en contexte numérique, a tenté de créer son compte Facebook, en vain. Assimilant le mot « lesbienne » à du contenu nécessairement pornographique, les algorithmes de Facebook empêchent la création d’un compte comprenant ce terme [11]. Ce cas de censure automatique intervenant avant toute publication impulse un emballement médiatique et des mobilisations des militantes. Facebook et Google, aussi accusées d’assimiler le mot « lesbienne » à de la pornographie dans le référencement de ses contenus, sont amenées à corriger le fonctionnement de leurs algorithmes, du fait de l’ampleur de la contestation. Ce cas est le premier d’une série d’autres nourris par des dénonciations de censures abusives et injustifiées, dont les victimes affirment qu’elles seraient causées par les algorithmes.

Le cas que nous venons d’exposer nous permet de retracer une des causes possibles de la discrimination algorithmique sur les réseaux sociaux numériques : ici, on a transformé un biais [le fait que le mot « lesbienne » soit rattaché à un imaginaire pornographique] en une règle de la plateforme [censure automatique de tout compte identifié comme relevant de la pornographie et donc, par glissement, de tout compte mettant le mot-clé « lesbienne » en avant] et on a produit une discrimation contre une catégorie de la population [là où les hétérosexuels pouvaient mentionner leur orientation sexuelle, le mot « lesbienne » était considéré comme relevant de la pornographie, donc supprimé]. Les plaintes répétées des concernées contre la plateforme ont permis aux concepteurs d’algorithmes, principalement des hommes blancs cisgenre hétérosexuels du monde de l’informatique et de l’ingénierie[12].

La censure du militantisme féministe sur Instagram et Twitter est d’autant plus problématique qu’elle intervient alors même que les discours misogynes prolifèrent.

Plus récemment, au moment des débats relatifs à la loi Avia, de nouveaux cas de censure ont été mis au jour par le mouvement « C’est pas la loi AVIA qui me rendra moins pd [13] : suspension de comptes de militantes, suppression de posts, impossibilité de choisir une photo de profil comportant certains mots-clés relevant de l’appartenance à la communauté LGBTQ+, etc. Les militants LGBTQ+ ont en effet constaté une augmentation des cas de censure abusive à leur encontre, alors même que la question des effets négatifs de l’imposition d’un délai de 24h pour supprimer les contenus signalés était débattue sur les bancs de l’Assemblée nationale. Rapidement, les associations de défense des droits des minorités ont émis l’hypothèse que, pour anticiper l’adoption de la loi, les entreprises testaient massive- ment des algorithmes de détection de contenus « haineux ». Les associations se sont alors mobilisées pour souligner les effets négatifs de la loi pour certains groupes minoritaires : loin de résoudre le problème de harcèlement en ligne, elle encourage le recours à des algorithmes qui peinent à distinguer les discours « haineux » des discours militants et contribuent à censurer les seconds sans parvenir à endiguer les premiers, ce qui fait dire à AIDES que les concepteurs d’algorithmes « s’ass[oient] sur 50 ans de lutte contre la « haine» LGBTphobe[14].

L’IA et l’invisibilisation des mobilisations féministes sur les réseaux sociaux numériques

Les discriminations algorithmiques peuvent aussi concerner d’autres personnes, en position subalterne dans les rapports de classe, de race et de genre, ou encore les personnes stigmatisées en raison de leur poids[15], de leurs professions, etc. En France, de nombreuses militantes féministes ont fait de la discrimination algorithmique contre les femmes un enjeu de la lutte contre le patriarcat. Et c’est en raison de l’implication de ce mouvement militant sur notre objet d’étude que nous avons décidé de conclure cet article en nous focalisant sur ce type de discrimination qui en illustre également d’autres [16].

La discrimination algorithmique faite contre les femmes dans la modération des réseaux sociaux numériques est, comme pour les discriminations LGBTphobes, de plusieurs natures : censure de posts, invisibilisation de certains hashtags ou contenus, bannissement temporaire de la plateforme, etc. Cette discrimination vise particulièrement les utilisatrices faisant un usage militant des réseaux sociaux numériques dans la mesure où, en dénonçant le cy- ber-sexisme dont elles sont victimes, leurs publications de dénonciation des systèmes de domination sont assimilées à des discours « haineux » contre les hommes. En guise d’exemple, prenons le cas de Mélusine, militante féministe et antiraciste, dont la publication – « Comment fait-on pour que les hommes arrêtent de violer ? » – a été censurée sur Twitter et Instagram. Cette suppression est imputable aux algorithmes, qui ont assimilé ces discours de dénonciation à de la « haine » misandre, redoublant les phénomènes de cyberharcèlement anti-féministe par de la censure abusive. Dans le cas de la suppression des publications de Mélusine, comme dans celui de la polémique entourant la publication du livre de Pauline Harmange (Moi, les hommes je les déteste)[17], il est intéressant de souligner que c’est la généralisation (« les hommes ») plus que l’évocation du viol qui pose problème. C’est cette généralisation qui permettrait de caractériser le discours comme « haineux ». Ces cas soulèvent la question de la possibilité même de formuler une critique à l’encontre d’un système patriarcal, et donc de concevoir ce système.

Le recours à l’intelligence artificielle ne permet pas, à l’heure actuelle, de faire la distinction entre des discours « haineux » et des discours militants détournant l’insulte ou critiquant les inégalités systémiques.

Cette censure du militantisme féministe sur Instagram et Twitter est d’autant plus problématique qu’elle intervient alors même que les discours misogynes prolifèrent. Si l’efficacité de la modération peut être mise en cause, il faut également rappeler que ce type de contenu génère du trafic et donc attire les annonceurs et garantit un gain financier pour les plateformes[18]. Ainsi, lorsque l’on cherche des publications comportant des hashtags tels que «#feminazi », «#fuckfeminism » ou « #fuckwomensrights » dans le moteur de recherche d’Instagram, plusieurs centaines de milliers de publications sont référencées. Les militantes féministes dénoncent en ce sens une politique de modération « deux poids, deux mesures » : c’est-à-dire un laisser-faire des plateformes pour les vagues de cyber-harcèlement des groupuscules masculinistes d’un côté ; et une modération abusive des militantes féministes de l’autre. Dans les deux cas, les personnes victimes de « haine » en ligne semblent être les perdantes dans le travail de modération tel qu’il est actuellement pratiqué sur ces réseaux sociaux numériques.

Au regard des cas que nous avons rapportés, il apparaît que l’imposition de nouveaux délais et de nouvelles contraintes légales dans la modération des contenus en ligne ne peut se faire sans une réflexion approfondie sur les méthodes de modération. Ainsi, il apparaît clairement que le recours à l’intelligence artificielle ne permet pas, à l’heure actuelle, de faire la distinction entre des discours « haineux » et des discours militants détournant l’insulte (usage ironique de termes tels que « gouine » ou « PD ») ou critiquant les inégalités systémiques (usage de la généralisation pour dénoncer le racisme systémique ou le patriarcat). Il en résulte que des propos illicites persistent en ligne et que des propos licites sont censurés. Une réflexion sur la méthode permet également de prendre le temps de poser la question de la définition d’expressions telles que « contenus haineux » ou « discours de haine ». Cela permet enfin de considérer l’intérêt de la contribution humaine au travail de modération, et les conditions dans lesquelles cette contribution intervient. La modération en ligne est encore aujourd’hui principalement assurée par un salariat précaire et sous-payé, et des internautes concernés mais non rémunérés. Le travail de modération est en effet réalisé principalement par des personnes occupant des positions subalternes dans les rapports de classe-race-genre, qu’elles soient salariées dans des entreprises sous-traitantes des réseaux sociaux numériques ou bénévoles militants qui, quotidiennement, jouent le rôle de modérateurs en signalant des contenus problématiques aux plateformes, ou en alertant leurs communautés de la prolifération de contenus « haineux» [19].

Ce constat semble pourtant aller à l’encontre de la façon dont les entreprises détentrices des réseaux sociaux numériques gèrent la modération, en produisant leur propres « community guidelines » et en gardant confidentiels les critères de modération des contenus qu’elles jugent illicites, par exemple. L’amendement que les députés Laetitia Avia et Florent Boudié proposent d’inscrire sous l’article 19 de la loi séparatisme témoigne justement d’une volonté du législateur de donner un droit de regard à l’instance de régulation nationale sur ces critères. Toutefois, il n’est pas évident que les entreprises du Web acceptent de soumettre leurs algorithmes à une évaluation du CSA, par exemple, et que le CSA soit en capacité de produire cette évaluation. Qui plus est, rien n’est prévu concernant la formation des modérateurs et modératrices ou la prise en compte des savoirs et de l’expérience des premières victimes de « haine » en ligne pour anticiper les risques de modération abusive ou l’identification de certains éléments permettant d’étayer la caractérisation des propos comme « haineux ». La légifération et le durcissement de la modération en ligne ne sauraient se faire sans une concertation avec des acteurs militants, associations et victimes de « haine » en ligne qui ont fait de la lutte contre les discours « haineux » une priorité depuis plusieurs décennies déjà, avant même que ce sujet n’en devienne un pour les entreprises du web et les États qui entendent légiférer sur ce point.

SOURCES ET NOTES

[1] RONFAUT Lucie, « Ce que contient “l’appel de Christchurch “, pour éliminer les contenus terroristes en ligne », lefigaro.fr, 15 mai 2019

[2] À l’inverse, les cas de modération abusive ne sont pas sanctionnés, les entreprises ayant obligation de remettre les contenus en ligne.

[3] Terminologie par laquelle des entreprises du web telle que Twitter désignent les personnes occupant une position subalterne dans les rapports de sexe, race, genre ou susceptible d’être altérisées en vertu de leurs pratiques sexuelles.

[4] Décision n°2020-801 DC du 18 juin 2020.

[5] LELOUP Damien, « De nouvelles règles pour les réseaux sociaux votées à l’Assemblée : délits pour appels à la haine et obligations pour les plates-formes », Lemonde.fr, 11 février 2021.

[6] ROSSI Julien, « Résumé des articles 15 à 18 du Digital Service Act », dsmabookclub.org, 26 mai 2021.

[7] GRISON Thibault et JULLIARD Virginie, « Les enjeux de la modération automatisée sur les réseaux sociaux numériques : les mobilisations LGBT contre la loi Avia », Communication, technologies et développement, n°10, 202.

[8] ROMANO Aja, « A group of YouTubers is trying to prove the site systematically demonetizes queer content », vox.com, 10 octobre 2019.

[9]LE CARBOULEC Rozenn, « Sur Twitter, « bienvenue dans un espace interdit aux pédés et gouines », numerama.com, 21 janvier 2021.

[10] Ibid.

[11] VOLFSON Olga, « 3 questions à Fanchon qui a lancé le #SOSlesbienne », komitid.fr, 16 avril 2019.

[12] JEAN Aurélien, De l’autre côté de la machine : Voyage d’une scientifique au pays des algorithmes. Éditions de l’Observatoire, 2019.

[13] MOLINARI Hélène, « “C’est pas la loi Avia qui me rendra moins pédé” : des militants LGBT dénoncent la censure en ligne », numerama.com, 8 juin 2020.

[14] Association Aides, @assoAIDES, 2020, « Pour avoir utilisé les mots “pédé”, “gouine” ou “pute “, des militants-es de la lutte contre le sida et les LGBTQIphobies et activistes TDS ont été censuré-es pour “contenu haineux”, contre lequel la loi Avia entend lutter, sur les réseaux sociaux… », 29 mai 2020.

[15] francetvinfo.fr, « Accusé de censure et de grossophobie, Instagram met à jour sa politique sur la nudité », 28 octobre 2020.

[16] Les discriminations observées en ligne comme hors ligne nécessitent d’être étudiées d’un point de vue intersectionnel. Les personnes ciblées sont en effet victimes de discriminations selon différentes facettes de leur identité. Ainsi, une femme noire pourra faire l’objet d’attaques misogynes et racistes, et spécifiquement même d’attaques relevant de ce que Moya Bailey appelle la misogynoir dans son œuvre Misogynoir Trans- formed: Black Women’s Digital Resistance (2021). Pour des réflexions relatives aux discriminations algorithmiques dont les personnes racisées sont spécifiquement victimes, nous renvoyons aux travaux du Center for Critical Internet Inquiry de UCLA et plus spécifiquement aux travaux de Safiya Umoja Noble, présentés dans son œuvre Algorithms of Oppression: How Search Engines Reinforce Racism (2018).

[17] HARMANGE, Pauline, Moi, les hommes, je les déteste. Seuil, 2020.

[18] DUPRE, Delphine et CARAYOL Valérie, « Haïr et railler les femmes en ligne : une revue de la littérature sur les manifestations de la cyber misogynie », Genre en séries : cinéma, télévision, médias, n°11, 2020.

[19] NAKAMURA, Lisa, «The unwanted labour of social media : Women of colour call out culture as venture community management», New formations : a journal of culture/theory/politics, 2015.