La modération de contenu automatisée et le droit à une décision humaine

 « Votre publication va à l’encontre de nos Standards de la communauté (…). Nos Standards sont appliqués à l’échelle mondiale et sont basés sur notre communauté ».

Si vous recevez cette notification en vous connectant à Facebook ou Instagram, un algorithme a probablement décidé de supprimer votre dernière publication, considérant que celle-ci va à l’encontre des Standards communautaires de Meta. En effet, les réseaux sociaux utilisent des moyens automatisés afin de modérer le contenu publié par leurs utilisateurs. Les principaux outils technologiques utilisés à des fins de modération sont la correspondance (matching) et la classification (machine learning).

Le matching vise à comparer l’empreinte numérique (hash) de deux publications. Par exemple, en matière de lutte contre la pédopornographie, certains programmes permettent de comparer les hash d’images et de vidéos publiées par des utilisateurs avec une base de données qui contient des hash d’images et de vidéos à caractère pédopornographique (par ex., PhotoDNA). Si le hash du contenu publié correspond aux hash de la base de données, il s’agit d’un contenu à caractère pédopornographique. Les réseaux sociaux utilisent également des méthodes de « supervised machine learning » (Meta, ML applications). On parle d’apprentissage supervisé dans le sens où un set de données préexistant est labélisé dans différentes catégories (par ex., discours haineux ou discours licites) afin d’entraîner l’algorithme à « apprendre » quelles caractéristiques amènent à classifier une nouvelle information dans l’une ou l’autre des catégories.

La majorité des contenus illicites publiés sur les réseaux sociaux est repérée et supprimée par la technologie, sans que les utilisateurs ne soient informés de l’automatisation à l’origine de la décision. La modération de contenu automatisée est justifiée par la quantité d’informations diffusée sur les réseaux sociaux, ainsi que par leur vitesse de propagation. Par ailleurs, les moyens automatisés identifient, avec plus ou moins de précision, les contenus les plus choquants (viols, suicides, meurtres, cruauté envers les animaux, etc.). Cela permet aux modérateurs humains d’analyser des publications moins dommageables pour leur état de santé.

Malgré ses nombreux avantages, la technologie est à ce jour incapable d’interpréter le contexte dans lequel une publication est effectuée, ainsi que l’éventuel caractère humoristique, politique ou artistique derrière celle-ci. Dans de nombreux cas, l’utilisation de moyens automatisés conduit à des résultats absurdes. Par exemple, Facebook a pendant longtemps supprimé des images artistiques ou historiques qui montrent de la nudité, tels que le tableau les « Origines du Monde » de Gustave Courbet ou le cliché de la « Fillette au Napalm », pris par Nick Ut pendant la Guerre du Vietnam. Facebook a par la suite modifié sa politique en matière de nudité, en permettant la publication d’œuvre d’art illustrant des personnages nus.

Le résultat obtenu par un algorithme prédictif de machine learning reflète les caractéristiques des données utilisées pour nourrir celui-ci. Comme l’exprime bien le concept issu des sciences informatiques « garbage in, garbage out », si les données sont biaisées, le résultat obtenu par l’algorithme le sera également, ce qui peut aboutir à des résultats discriminatoires. L’opacité des moyens automatisés (effet de « boîte noire ») rend également la compréhension du résultat obtenu par l’algorithme difficile, voire impossible.

En octobre 2020, les systèmes automatisés d’Instagram ont supprimé une image illustrant différents symptômes du cancer du sein, publiée dans le cadre de la campagne de prévention « Octobre rose ». L’utilisateur à l’origine de la publication a fait appel de la décision de suppression devant le Conseil de surveillance de Meta, l’autorité suprême des réseaux sociaux Facebook et Instagram, qui a estimé que la suppression était contraire à la liberté d’expression de l’utilisateur concerné (art. 19 Pacte ONU II), ainsi qu’à son droit à un recours effectif (art. 2 Pacte ONU II). Selon le Conseil de surveillance, le fait de supprimer une publication sans supervision humaine soulève des questions concernant les droits fondamentaux des utilisateurs. Ainsi, lorsque des moyens automatisés sont utilisés par la plateforme pour repérer, filtrer et supprimer une information, les utilisateurs doivent être informés de l’automatisation à la base de la décision afin de pouvoir demander un réexamen de cette dernière par un être humain (Décision 2020-004-IG-UA). Le Conseil de surveillance consacre ainsi un « droit à une décision humaine », en vertu duquel une plateforme en ligne doit offrir à ses utilisateurs la possibilité de faire appel d’une décision automatisée auprès d’un être humain.

Le Règlement européen sur les services numériques (Digital Services Act, DSA), adopté en octobre 2022, prévoit d’imposer aux plateformes en ligne des obligations précises en matière de modération de contenu. Les utilisateurs devront être notifiés de l’automatisation à l’origine d’une décision de modération (art. 16 par. 6 et 17 par. 3 let. c DSA) afin de pouvoir faire appel de celle-ci devant des « collaborateurs qualifiés » (art. 20 par. 6 DSA). De plus, les décisions de modération – automatisée ou non – devront faire l’objet d’une motivation précise (art. 17 par. 3 DSA). En matière de protection du droit d’auteur sur le marché numérique européen, les plateformes en ligne doivent déjà s’assurer que les plaintes déposées par les titulaires de droits d’auteurs sont analysées par un être humain (art. 17 par. 9 de la Directive européenne sur le droit d’auteur et les droits voisins dans le marché unique numérique).

Le droit à une décision humaine ne vise pas à interdire purement et simplement l’utilisation de la technologie. L’automatisation reste essentielle pour repérer l’océan de contenus illicites et indésirables publiés sur les réseaux sociaux. Cependant, si la parole en ligne était régulée uniquement par le biais d’algorithmes, il en résulterait une distorsion du débat public et une censure des utilisateurs. Comme le montre le cas « Octobre rose » susmentionné, la technologie ne semble pas prête, en l’état, à rendre des décisions sans aucune supervision humaine. Le droit à une décision humaine permet ainsi aux plateformes en ligne d’utiliser et de développer des outils automatisés à des fins de modération, tout en protégeant la liberté d’expression des utilisateurs de réseaux sociaux.