Monde. Le fil « Pour toi » de TikTok risque de pousser des enfants et des jeunes vers du contenu dangereux en lien avec la santé mentale

Les informations contenues dans ce communiqué de presse peuvent s’avérer sensibles pour certaines personnes. 

• L’étude technique réalisée en partenariat avec l’Algorithmic Transparency Institute et AI Forensics au moyen de comptes automatisés a révélé que, au bout de cinq ou six heures passées sur la plateforme, près d’une vidéo sur deux était relative à la santé et potentiellement nocive, soit un volume 10 fois plus important que celui présenté aux comptes n’ayant indiqué aucun intérêt pour le sujet.
• L’effet de « spirale » était encore plus rapide lorsque l’équipe de recherche revisionnait manuellement des vidéos concernant la santé mentale qui avaient été suggérées aux comptes factices simulant le comportement d’enfants de 13 ans au Kenya, aux Philippines et aux États-Unis.
• Entre trois et 20 minutes après le début de l’étude manuelle, plus de la moitié des vidéos du fil « Pour toi » étaient en rapport avec des problèmes de santé mentale, et de nombreuses vidéos recommandées en l’espace d’une heure seulement idéalisaient, banalisaient voire encourageaient le suicide.
• Le modèle économique de TikTok est intrinsèquement abusif et privilégie la participation pour conserver l’attention des utilisateurs et utilisatrices, afin de collecter toujours plus de données les concernant. TikTok n’applique pas les mêmes mesures de protection des utilisateurs et utilisatrices partout dans le monde.

Le système de recommandation de TikTok et les pratiques intrusives de collecte de données qui l’accompagnent représentent un danger pour les jeunes utilisateurs et utilisatrices de la plateforme en amplifiant le contenu sur la dépression et le suicide qui risque d’aggraver des problèmes de santé mentale existants, comme le montrent deux rapports complémentaires publiés le 7 novembre par Amnistie Internationale.

Les deux rapports, intitulés Poussé·e·s vers les ténèbres. Comment le fil « Pour toi » encourage l’automutilation et les idées suicidaires et « Je me sens vulnérable ». Pris·e au piège de la surveillance intrinsèque à TikTok, mettent en lumière les atteintes dont sont victimes les enfants et les jeunes utilisant TikTok, ainsi le fait que ces atteintes découlent du système de recommandation de TikTok et du modèle économique qui le sous-tend.

Les résultats d’une enquête technique menée conjointement avec nos partenaires – l’Algorithmic Transparency Institute (National Conference on Citizenship) et AI Forensics – montrent comment les enfants et les jeunes qui regardent des contenus relatifs à la santé mentale sur la page « Pour toi » de la plateforme sont rapidement entraînés dans des « spirales » de contenus potentiellement dangereux, notamment des vidéos qui idéalisent et encouragent les pensées dépressives, l’automutilation et le suicide.

« Les constatations dénoncent les caractéristiques de conception manipulatrices et addictives de TikTok, dont le but intrinsèque est de conserver l’attention des utilisateurs et utilisatrices le plus longtemps possible. Elles montrent aussi que le système algorithmique de recommandation de contenu, auquel est attribué l’essor rapide de la plateforme à l’échelle mondiale, expose les enfants et les jeunes adultes ayant déjà des problèmes de santé mentale à de graves risques », a déclaré Lisa Dittmer, chercheuse à Amnistie Internationale.

Le fil « Pour toi »

Le rapport Poussé·e·s vers les ténèbres. Comment le fil « Pour toi » encourage l’automutilation et les idées suicidaires explique comment la quête effrénée menée par TikTok pour obtenir l’attention des utilisateurs et utilisatrices risque d’aggraver les problèmes de santé mentale comme la dépression, l’anxiété et l’automutilation.

Le fil « Pour toi » de TikTok est une page extrêmement personnalisée qu’il est possible de faire défiler à l’infini. Elle est alimentée par du contenu recommandé grâce à des algorithmes, lequel est censé refléter ce que le système a défini par déduction comme correspondant aux intérêts de chaque utilisateur ou utilisatrice.

L’étude technique se fonde sur plus d’une trentaine de comptes automatisés qui ont été paramétrés de manière à représenter des enfants de 13 ans au Kenya et aux États-Unis afin de mesurer les effets du système de recommandation de TikTok sur les jeunes utilisateurs et utilisatrices. Une deuxième simulation, exécutée manuellement, a été réalisée sur un compte au Kenya, un aux Philippines et un aux États-Unis.

L’étude technique a révélé que, au bout de cinq ou six heures passées sur la plateforme, près d’une vidéo sur deux était relative à la santé mentale et potentiellement nocive, soit un volume 10 fois plus important que celui présenté aux comptes n’ayant indiqué aucun intérêt pour le sujet.

L’effet de « spirale » était encore plus rapide lorsque l’équipe de recherche revisionnait manuellement des vidéos concernant la santé mentale qui avaient été suggérées aux comptes d’étude simulant le comportement d’enfants de 13 ans au Kenya, aux Philippines et aux États-Unis.

Entre trois et 20 minutes après le début de l’étude manuelle, plus de la moitié des vidéos du fil « Pour toi » étaient en rapport avec les problèmes de santé mentale, et de nombreuses vidéos recommandées en l’espace d’une heure seulement idéalisaient, banalisaient voire encourageaient le suicide.

Une conception addictive

Des discussions en groupe, des entretiens et des expériences simulant des comptes TikTok d’enfants au Kenya, aux Philippines et aux États-Unis, ainsi que les éléments existants dans les domaines de la recherche sur les dangers des réseaux sociaux et de la santé publique, révèlent comment la plateforme de TikTok encourage par sa conception même une utilisation nocive de l’application.

Voici comment « Luis », un étudiant de 21 ans souffrant de troubles bipolaires diagnostiqués à Manille, a décrit son expérience avec le fil « Pour toi » de TikTok à Amnistie Internationale :

« C’est une spirale infernale, parce que ça commence avec une seule vidéo. Si une vidéo parvient à capter ton attention, même si tu ne l’aimes pas, elle t’est de nouveau présentée quand tu ouvres TikTok la fois suivante et, parce qu’elle te semble familière, tu la regardes à nouveau et alors, sa fréquence d’apparition dans ton fil augmente exponentiellement. »

« Francis », 18 ans, étudiant dans la province de Batangas, aux Philippines, a observé : « Quand [j’]“aime” une vidéo triste qui [me] parle, tout à coup, toute ma page “Pour toi” est triste. Je me retrouve dans le “TikTok triste”. Ça affecte mon humeur. »

Une autre personne ayant participé à une discussion en groupe a expliqué : « Comme je suis du genre à trop réfléchir, les contenus que je regarde me donnent [encore] plus tendance à le faire, comme les vidéos dans lesquelles on voit des gens malades ou qui s’autodiagnostiquent. Ça m’affecte mentalement et me donne l’impression que j’ai les mêmes symptômes, ce qui aggrave mon anxiété. Et je ne les cherche même pas, elles [les vidéos] apparaissent juste dans mon fil. »

« Joyce », une jeune Philippine de 21 ans, a indiqué : « Je l’ai supprimée [l’application TikTok] pendant un moment, car j’étais trop dépendante… je passais tellement d’heures sur TikTok, à faire défiler des vidéos, parce qu’on ne peut pas s’empêcher de se demander ce qui va venir après quand on fait défiler. »

Les enfants et les jeunes interrogés au Kenya ont déclaré que leur utilisation de TikTok avait des répercussions sur leur travail scolaire et le temps passé avec leurs ami·e·s et les amenait à dérouler leur fil jusque tard dans la nuit au lieu de dormir.

Ces témoignages ont été corroborés par plusieurs psychologues spécialistes de l’adolescence qu’Amnistie Internationale a consultés dans le cadre de cette étude.

Bien que les réponses données par les jeunes et les facteurs contextuels qui ont une incidence sur leur utilisation des réseaux sociaux soient variables, TikTok, à l’instar d’autres plateformes de réseaux sociaux, a opéré des choix de conception visant à maximiser le temps passé par les utilisateurs et utilisatrices sur la plateforme.

« Notre étude montre que TikTok expose peut-être les enfants et les jeunes à de graves risques pour la santé en persistant dans son modèle économique actuel, qui vise davantage à maintenir les yeux des utilisateurs et utilisatrices rivés sur la plateforme plutôt qu’à respecter le droit à la santé des enfants et des jeunes », a déclaré Lisa Dittmer, chercheuse à Amnistie Internationale.

Le réseau de surveillance

« Je me sens vulnérable ». Pris·e au piège de la surveillance intrinsèque à TikTok illustre comment les pratiques abusives de collecte de données auxquelles TikTok a recours non seulement sous-tendent les pratiques dangereuses destinées à maximiser la participation mais sont aussi alimentées par celles-ci.

L’étude d’Amnistie Internationale montre que le modèle économique de TikTok est intrinsèquement abusif et privilégie la participation pour conserver l’attention des utilisateurs et utilisatrices, afin de collecter toujours plus de données personnelles. TikTok se sert ensuite de ces données pour créer des profils et en déduire des informations, qui lui permettent de regrouper les utilisateurs et utilisatrices par catégorie pour leur proposer du contenu extrêmement personnalisé et ainsi conserver leur attention. Ces groupes et catégories sont aussi mis à la disposition de publicitaires, qui peuvent ainsi cibler leurs messages en fonction des destinataires.

Bien que TikTok ait mis en place certaines politiques et pratiques destinées à faire respecter davantage les droits des enfants, celles-ci diffèrent d’une région à l’autre : les enfants et les jeunes qui vivent à certains endroits du monde se trouvent ainsi plus exposés que d’autres à cette collecte opportuniste des données.

« TikTok cible les utilisateurs et utilisatrices, notamment les enfants, par des pratiques de collecte de données plus intrusives dans les endroits du monde où les lois et règlements locaux protègent moins leurs données. Autrement dit, les enfants vivant dans des pays où la législation est faible, y compris de nombreux pays appartenant à la “majorité mondiale”, subissent les pires atteintes à leur droit au respect de la vie privée », a ajouté Lauren Armistead, directrice adjointe du programme Amnistie Tech.

« Il faut que TikTok respecte les droits de tous ses jeunes utilisateurs et utilisatrices, pas seulement en Europe, en interdisant toutes les publicités ciblées visant les personnes de moins de 18 ans dans le monde. »

Il faut aussi que TikTok cesse, par défaut, de personnaliser à outrance le fil « Pour toi » et laisse plutôt les utilisateurs et utilisatrices choisir activement en fonction de quels intérêts ils souhaitent que du contenu leur soit recommandé, sur la base de leur consentement donné en connaissance de cause et à condition qu’ils souhaitent un fil personnalisé.

Bien qu’Amnistie Internationale appelle TikTok à prendre ces mesures urgentes pour s’orienter vers un modèle d’activité respectueux des droits, une réglementation contraignante est également nécessaire pour protéger et concrétiser les droits des enfants et des jeunes.

Le meilleur moyen pour les États de protéger les enfants du recueil et de l’utilisation abusifs de leurs données personnelles en ligne est de faire en sorte que la loi interdise toutes les publicités ciblées reposant sur une collecte intrusive de données personnelles.

En réaction à nos conclusions, TikTok s’est référé à ses principes communautaires, qui définissent quels types de contenus sont interdits et, s’ils font l’objet d’un signalement ou sont décelés de quelque autre manière que ce soit, sont supprimés de la plateforme. Ces principes communautaires interdisent notamment les contenus « montrant, promouvant ou fournissant des instructions sur le suicide et l’automutilation, et les défis, jeux et pactes qui s’y rapportent » ainsi que les contenus « montrant ou promouvant de fausses informations relatives au suicide et à l’automutilation » et « partageant des projets de suicide et d’automutilation ».

L’entreprise a déclaré qu’elle était en train d’élaborer « une procédure institutionnelle de diligence requise en matière de droits humains qui comprendra des évaluations périodiques de l’impact sur ces droits ». Elle n’a pas donné de précision quant aux risques pour les droits humains des enfants et des jeunes qu’elle aurait recensés. Le fait que TikTok ne dispose pas encore d’une procédure de diligence nécessaire en matière de droits humains va clairement à l’encontre de son obligation de respecter ces droits.

Complément d’information

Les deux rapports complètent les éléments sur lesquels Amnistie Internationale s’était penchée dans de précédents rapports. Le rapport intitulé Surveillance Giants explique que le modèle économique mis en place par Facebook et Google est par nature incompatible avec le droit à la vie privée et représente une menace pour toute une série d’autres droits, notamment les droits à la liberté d’opinion, d’expression et de pensée, ainsi que les droits à l’égalité et à la non-discrimination.

Les rapports d’Amnistie Internationale intitulés Myanmar: The social atrocity: Meta and the right to remedy for the Rohingya et Ethiopia: Meta’s failures contributed to abuses against Tigrayan community during conflict in northern Ethiopia révèlent comment le modèle d’activité de Facebook, fondé sur la participation, peut avoir des effets dévastateurs en amplifiant du contenu extrême incitant à la violence, à la haine et à la discrimination, ce qui participe au bout du compte à de graves atteintes aux droits humains.

Tous ces rapports contribuent à faire croître le corpus d’éléments à l’appui de la campagne mondiale d’Amnistie Internationale en faveur de la responsabilité des entreprises et de l’octroi de réparations en cas d’atteintes aux droits humains liées au modèle économique fondé sur la surveillance qui est celui de Meta, de Google, de TikTok et des autres « géants technologiques ».