Der Content-Müll der anderen

Der Ort, an dem TikTok seine unangemessenen Inhalte filtern lässt, liegt idyllisch an der Salzwasser-Lagune der tunesischen Hauptstadt Tunis. Drinnen, in den Büroräumen, bleibe jedoch wenig Zeit, die Aussicht zu bewundern. So beschreibt es Alaeddine Boumaiza. Er hat im Jahr 2022 für TikTok gearbeitet, angestellt über das multinationale Callcenter-Unternehmen Teleperformance. Hochkonzentriert und mit Kopfhörern ausgestattet, scrollen dort die Content-Moderator:innen von TikTok über ihren PC-Bildschirm und schauen sich ein Video nach dem anderen an, das die KI ihnen ausspielt. Sie sind auf der Suche nach Videos, die Gewalt zeigen, Suizide oder Drogenkonsum. Die Aufgabe der Content-Moderator:innen, wie auch von Boumaiza früher, besteht darin, kritische Inhalte zu identifizieren und dann gemäß den Guidelines zu kategorisieren, um TikTok von unangemessenen Inhalten zu reinigen.

Mittlerweile leitet Alaeddine Boumaiza ein Guesthouse in einem Küstenvorort von Tunis. Dort, im Wohnzimmer, erzählt er von seiner Zeit bei TikTok. „Es ist einfach crazy, was manche Menschen tun, um auf TikTok viral zu gehen. Sie reiben sich rohe Zwiebeln in die Augen oder halten ihre Hände ins Feuer“, sagt Boumaiza.

Ständig Videos von Gewalt zu sehen, kann belastend sein

Was TikTok unter unangemessenen Inhalten versteht, reicht von Hatespeech und Fake News bis Selbstmord und ist in den „Community Guidelines“ nachzulesen. Dabei gibt es auch regionale Unterschiede: In asiatischen Ländern sei der Konsum von Drogen ein Tabuthema. „Handelt es sich um Videos, die Nacktheit zeigen, werden sie in der Region Westasien und Nordafrika nicht angezeigt. Dagegen sind nackte Körper für die europäischen User kein Problem“, sagt Boumaiza. Ob die Videos für eine bestimmte Weltregion geblockt, eine Warnung vor das Video geschaltet, das Video gelöscht oder gar der Account des Content-Creators gesperrt wird, wird an anderer Stelle entschieden. Und nicht alle Moderator:innen kümmern sich um alles. Faktenchecks spielen für das Team in Tunis beispielsweise keine Rolle.

Um die psychische Belastung der Content-Moderator:innen auszugleichen, schreibe TikTok mehrere 15-minütige Pausen am Tag vor, dazu Sport- oder Wellnessprogramme, wie Boumaiza erzählt. Er selbst entschied sich für Yoga. Eigentlich habe er aber dieses Extraprogramm gar nicht gebraucht. „Für mich war die Arbeit nicht so belastend, eher langweilig“, sagt er. „Ich war aber auch nicht in der Arbeitsgruppe, die sich mit Suizidvideos auseinandersetzt.“

Doch er erzählt auch von schwierigen Momenten. Während eines Monats war er für die Nachtschicht eingeteilt. „Abgesehen von der bedrückenden Dunkelheit der Nacht handelten viele der Videos von schwarzer Magie. Ein Live, in dem die Creatorin ‚Dschinns‘ hochbeschwören wollte, musste ich abbrechen“, erzählt Alaeddine Boumaiza und schaut zu Boden. „Ich hatte Angst, dass mir die Videos psychisch schaden“, sagt er. Nach einer Einschätzung der Psychologin entschied das Management, dass er nur noch in der Tagesschicht zum Einsatz kommen sollte. Da musste er Videos bewerten, die von Nacktheit, den berüchtigten Challenges oder sexuellen Inhalten handeln.

Dass die Arbeit als Content-Moderator:in tatsächlich für viele Menschen psychisch belastend sein kann, sieht auch Léonie Guguen vom internationalen Gewerkschaftsbund UNI Global Unionso, der Content-Moderator:innen dabei unterstützt, gewerkschaftliche Strukturen vor Ort zu etablieren; in Tunesien sind sie bisher nicht organisiert. Sie spricht von einer alarmierenden Zahl von Content-Moderator:innen, die an Depressionen, posttraumatische Belastungsstörungen oder Suizidgedanken leiden.

Ist es besser, wenn eine KI die Videos sortiert? 

„Die Arbeit der Content-Moderator:innen ist sehr wichtig“, sagt Alaeddine Boumaiza. „Nur so können die vielen Verrückten, die für ein bisschen Geld diese gefährlichen Inhalte produzieren, gestoppt werden.“ Beim TikTok-Betreiber ByteDance sieht er dabei keine Schuld, schließlich gebe der Konzern viel Geld für die Kontrolle der Inhalte aus.

Für seine Arbeit, sagt Alaeddine Boumaiza, bekam er nach eigenen Angaben 1.200 Tunesische Dinar bezahlt, umgerechnet rund 350 Euro. Die durchschnittlichen Lebenshaltungskosten in Tunesien liegen bei 390 Euro. Léonie Guguen erklärt: „TikTok tendiert dazu, in Ländern tätig zu sein, in denen die Löhne niedrig und Arbeitnehmerrechte schwach sind.“

ByteDance will in Zukunft immer weniger Moderator:innen einsetzen. Es gab bereits einige Entlassungswellen. Im Frühjahr 2025 kündigte TikTok allein in Spanien 2.000 Content-Moderator:innen, da die den Moderator:innen vorgeschalteten KI und Maschine-Learning-Mechanismen stetig mehr Einschätzungen übernehmen könnten. Auch in Deutschland sollen Stellen abgebaut werden. Einige Beschäftigte protestierten, sie wollten unter fairer Bezahlung weiterarbeiten.

Léonie Köster denkt nicht, dass der Beruf der Content-Moderator:innen vollständig von einer KI übernommen werden kann. Sie sieht die Rolle der KI aber nicht nur negativ, schließlich könnten Mitarbeitende somit perspektivisch vor den schlimmsten Inhalten geschützt werden. Aleddine Boumaiza sieht das ähnlich. „Es ist eine langweilige Arbeit, und ich bin froh, dass ich mit meinem Tourismuskonzept jetzt etwas Selbsterfüllendes machen kann“, sagt er im Rückblick auf seine Zeit als TikTok-Content-Moderator.