Wie implementiert man einen guten Schimpfwortfilter?

Question

Viele von uns müssen mit Benutzereingaben, Suchanfragen und Situationen umgehen, in denen der Eingabetext möglicherweise Schimpfwörter oder unerwünschte Sprache enthält. Oftmals muss dies herausgefiltert werden.

Wo kann man eine gute Liste von Schimpfwörtern in verschiedenen Sprachen und Dialekten finden?

Gibt es APIs für Quellen, die gute Listen enthalten? Oder vielleicht eine API, die einfach sagt "ja, das ist sauber" oder "nein, das ist schmutzig" mit einigen Parametern?

Welche guten Methoden gibt es, um Leute zu erwischen, die versuchen, das System auszutricksen, wie z. B. a$$, azz oder a55?

Bonuspunkte, wenn Sie Lösungen für PHP anbieten :)

Edit: Antwort auf die Antworten, die besagen, dass man das programmatische Problem einfach vermeiden sollte:

Ich denke, dass diese Art von Filter sinnvoll ist, wenn beispielsweise ein Nutzer die öffentliche Bildersuche nutzen kann, um Bilder zu finden, die in einen sensiblen Gemeinschaftspool aufgenommen werden. Wenn sie nach "Penis" suchen können, dann werden sie wahrscheinlich viele Bilder von "ja" erhalten. Wenn wir solche Bilder nicht wollen, dann ist das Verbot des Wortes als Suchbegriff eine gute, wenn auch zugegebenermaßen nicht narrensichere Methode. Die eigentliche Frage ist, wie man die Liste der Wörter überhaupt erhält.

Ich suche also nach einer Möglichkeit, herauszufinden, ob ein einzelnes Token schmutzig ist oder nicht, und es dann einfach zu verbieten. Ich würde mir nicht die Mühe machen, eine Bemerkung wie die total witzige "Langhalsgiraffe" zu verhindern. Da kann man nichts machen :)

Answer 1

Die einzige Möglichkeit, anstößige Benutzereingaben zu verhindern, besteht darin, alle Benutzereingaben zu unterbinden.

Wenn Sie darauf bestehen, Benutzereingaben zuzulassen, und eine Moderation benötigen, sollten Sie menschliche Moderatoren einbeziehen.

Answer 2

Werfen Sie einen Blick auf CDYNEs Schimpfwortfilter-Webdienst

Test-URL

Answer 3

Ich habe 2200 schlechte Wörter in 12 Sprachen gesammelt: en, ar, cs, da, de, eo, es, fa, fi, fr, hi, hu, it, ja, ko, nl, no, pl, pt, ru, sv, th, tlh, tr, zh.

Es stehen die Optionen MySQL-Dump, JSON, XML oder CSV zur Verfügung.

https://github.com/turalus/openDB

Ich würde vorschlagen, dass Sie diese SQL in Ihrer DB ausführen und jedes Mal überprüfen, wenn der Benutzer etwas eingibt.

Answer 4

Achten Sie auf Lokalisierungsprobleme: Was in einer Sprache ein Schimpfwort ist, kann in einer anderen ein ganz normales Wort sein.

Ein aktuelles Beispiel dafür: ebay verwendet ein Wörterbuch, um "böse Wörter" aus den Bewertungen herauszufiltern. Wenn Sie versuchen, die deutsche Übersetzung von "das war eine perfekte Transaktion" einzugeben, lehnt ebay das Feedback wegen schlechter Wörter ab.

Und warum? Weil das deutsche Wort für "war" "Krieg" heißt und "Krieg" im ebay-Wörterbuch der "bösen Wörter" steht.

Achten Sie also auf Lokalisierungsprobleme.

Answer 5

Was Ihre Teilfrage "das System austricksen" betrifft, so können Sie damit umgehen, indem Sie sowohl die Liste der "bösen Wörter" als auch den vom Benutzer eingegebenen Text normalisieren, bevor Sie die Suche durchführen. z.B. verwenden Sie eine Reihe von Regexen (oder tr wenn PHP es hat) zu konvertieren [z$5] zu "s", [4@] zu "a", usw., und vergleichen Sie dann die normalisierte Liste der "schlechten Wörter" mit dem normalisierten Text. Beachten Sie, dass die Normalisierung möglicherweise zu zusätzlichen Fehlalarmen führen kann, obwohl mir im Moment keine konkreten Fälle einfallen.

Die größere Herausforderung besteht darin, sich etwas einfallen zu lassen, das die Leute "The Stift ist mächtiger als das Schwert" und blockiert gleichzeitig "P e n i s".