Wie implementiert man einen guten Schimpfwortfilter?

Question

Viele von uns müssen mit Benutzereingaben, Suchanfragen und Situationen umgehen, in denen der Eingabetext möglicherweise Schimpfwörter oder unerwünschte Sprache enthält. Oftmals muss dies herausgefiltert werden.

Wo kann man eine gute Liste von Schimpfwörtern in verschiedenen Sprachen und Dialekten finden?

Gibt es APIs für Quellen, die gute Listen enthalten? Oder vielleicht eine API, die einfach sagt "ja, das ist sauber" oder "nein, das ist schmutzig" mit einigen Parametern?

Welche guten Methoden gibt es, um Leute zu erwischen, die versuchen, das System auszutricksen, wie z. B. a$$, azz oder a55?

Bonuspunkte, wenn Sie Lösungen für PHP anbieten :)

Edit: Antwort auf die Antworten, die besagen, dass man das programmatische Problem einfach vermeiden sollte:

Ich denke, dass diese Art von Filter sinnvoll ist, wenn beispielsweise ein Nutzer die öffentliche Bildersuche nutzen kann, um Bilder zu finden, die in einen sensiblen Gemeinschaftspool aufgenommen werden. Wenn sie nach "Penis" suchen können, dann werden sie wahrscheinlich viele Bilder von "ja" erhalten. Wenn wir solche Bilder nicht wollen, dann ist das Verbot des Wortes als Suchbegriff eine gute, wenn auch zugegebenermaßen nicht narrensichere Methode. Die eigentliche Frage ist, wie man die Liste der Wörter überhaupt erhält.

Ich suche also nach einer Möglichkeit, herauszufinden, ob ein einzelnes Token schmutzig ist oder nicht, und es dann einfach zu verbieten. Ich würde mir nicht die Mühe machen, eine Bemerkung wie die total witzige "Langhalsgiraffe" zu verhindern. Da kann man nichts machen :)

Answer 1

Ich stimme zu, dass das Thema sinnlos ist, aber wenn Sie einen Filter brauchen, schauen Sie sich Nings Buchsbaum :

Boxwood ist eine PHP-Erweiterung zum schnellen Ersetzen von mehreren Wörtern in einem Text. Sie unterstützt den Abgleich zwischen Groß- und Kleinschreibung. Der zu bearbeitende Text muss im Format UTF-8 kodiert sein.

Weitere Einzelheiten finden Sie auch in diesem Blogbeitrag:

• Schnelle Ersetzung mehrerer Strings in PHP

Mit Boxwood kann die Liste der Suchbegriffe beliebig lang sein - der Such- und Ersetzungsalgorithmus wird nicht langsamer, je mehr Wörter auf der Liste der zu suchenden Wörter stehen. Boxwood erstellt ein Trie mit allen Suchbegriffen und durchsucht den Text nur einmal, indem es die Elemente des Trie durchgeht und sie mit den Zeichen in Ihrem Text vergleicht. Es unterstützt US-ASCII und UTF-8, unterscheidet zwischen Groß- und Kleinschreibung und verfügt über eine englischsprachige Logik zur Überprüfung von Wortgrenzen.

Answer 2

Ich bin zu dem Schluss gekommen, dass wir 3 Hauptkomponenten brauchen, um einen guten Profanitätsfilter zu erstellen, oder zumindest ist es das, was ich tun werde. Diese sind:

1. Der Filter: ein Hintergrunddienst, der anhand einer schwarzen Liste, eines Wörterbuchs oder Ähnlichem prüft.
2. Anonymes Konto nicht zulassen
3. Missbrauch melden

Ein Bonus wird es sein, diejenigen, die mit genauen Missbrauchsmeldungen beitragen, irgendwie zu belohnen und die Übeltäter zu bestrafen, z.B. ihre Konten zu sperren.

Answer 3

Tun Sie es nicht. Das führt nur zu Problemen. Ein persönliches Erlebnis, das ich mit Schimpfwortfiltern habe, ist das eine Mal, als ich aus einem IRC-Kanal geworfen/verbannt wurde, weil ich erwähnt hatte, dass ich "für ein paar Stunden über die Brücke nach Hancock fahre" oder so etwas in der Art.

Answer 4

Ehrlich gesagt würde ich es ihnen überlassen, die Worte "das System auszutricksen" zu verwenden und sie stattdessen zu verbieten, aber das ist nur meine Meinung. Aber es macht auch die Programmierung einfacher.

Ich würde einen Regex-Filter wie folgt implementieren: /[\s]dooby (doo?)[\s]/i oder es wird das Wort auf anderen vorangestellt, /[\s]doob(er|ed|est)[\s]/ . Dies würde verhindern, dass Wörter wie "beschwichtigt" gefiltert werden, was durchaus zulässig ist, aber auch die Kenntnis der anderen Varianten und die Aktualisierung des eigentlichen Filters erfordern würde, wenn Sie eine neue Variante lernen. Das sind natürlich nur Beispiele, aber Sie müssen selbst entscheiden, wie Sie es machen wollen.

Ich habe keine Lust, alle Wörter abzutippen, die ich kenne, wenn ich sie gar nicht kennen will.

Answer 5

Tun Sie es nicht.

Weil:

• Clbuttic
• Profanität ist nicht OMG EVIL
• Profanität kann nicht wirksam definiert werden
• Die meisten Menschen schätzen es wahrscheinlich nicht, vor Gotteslästerung "geschützt" zu werden.

Edit: Ich stimme zwar mit dem Kommentator überein, der sagte "Zensur ist falsch", aber das ist nicht die Art dieser Antwort.