So ändern Sie diakritische Zeichen in nicht diakritische Zeichen

Question

Ich habe auf Stackoverflow eine Antwort gefunden, wie man diakritische Zeichen entfernt, aber könnten Sie mir bitte sagen, ob es möglich ist, diakritische Zeichen in nicht-diakritische zu ändern?

Oh.. und ich denke über .NET (oder andere, wenn nicht möglich)

Answer 1

Da sich noch niemand die Mühe gemacht hat, den entsprechenden Code zu veröffentlichen, hier ist er:

    // \p{Mn} or \p{Non_Spacing_Mark}: 
    //   a character intended to be combined with another 
    //   character without taking up extra space 
    //   (e.g. accents, umlauts, etc.). 
    private readonly static Regex nonSpacingMarkRegex = 
        new Regex(@"\p{Mn}", RegexOptions.Compiled);

    public static string RemoveDiacritics(string text)
    {
        if (text == null)
            return string.Empty;

        var normalizedText = 
            text.Normalize(NormalizationForm.FormD);

        return nonSpacingMarkRegex.Replace(normalizedText, string.Empty);
    }

Hinweis: Ein wichtiger Grund für die Notwendigkeit, dies zu tun, ist, wenn Sie die Integration in ein System eines Drittanbieters, die nur ASCII, aber Ihre Daten sind in Unicode. Dies ist häufig der Fall. Sie haben grundsätzlich folgende Möglichkeiten: Entfernen Sie akzentuierte Zeichen, oder versuchen Sie, die Akzente aus den akzentuierten Zeichen zu entfernen, um so viel wie möglich von der ursprünglichen Eingabe zu erhalten. Natürlich ist dies keine perfekte Lösung, aber es ist zu 80 % besser als das einfache Entfernen von Zeichen oberhalb von ascii 127.

Answer 2

Kopieren von meine eigene Antwort auf eine andere Frage :

Anstatt eine eigene Tabelle zu erstellen, können Sie den Text auch in die Normalisierungsform D umwandeln, bei der die Zeichen als Basiszeichen plus diakritische Zeichen dargestellt werden (z. B. wird "á" durch "a" ersetzt, gefolgt von einem kombinierten akuten Akzent). Sie können dann alles entfernen, was kein ASCII-Buchstabe ist.

Die Tabellen gibt es immer noch, aber es sind jetzt die Tabellen aus dem Unicode-Standard.

Sie könnten auch NFKD anstelle von NFD versuchen, um noch mehr Fälle zu erfassen.

Referenzen:

• http://unicode.org/reports/tr15/
• http://www.siao2.com/2005/02/19/376617.aspx
• http://www.siao2.com/2007/05/14/2629747.aspx

Answer 3

Es könnte sich auch lohnen, einen Schritt zurückzutreten und zu überlegen warum Sie wollen das tun. Wenn Sie versuchen, Zeichenunterschiede zu entfernen, die Sie für unbedeutend halten, sollten Sie sich den Unicode-Sortieralgorithmus ansehen. Dies ist die Standardmethode, um Unterschiede wie Groß- und Kleinschreibung oder diakritische Zeichen beim Vergleich von Zeichenketten für die Suche oder Sortierung außer Acht zu lassen.

Wenn Sie den geänderten Text anzeigen wollen, denken Sie an Ihr Publikum. Was Sie sicher wegfiltern können, ist ortsabhängig. Im US-Englischen ist "Igloo" = "Iglu" und "resume" = "résumé", aber im Türkischen wird das I klein geschrieben (ohne Punkt), und im Französischen bedeutet cote Zitat, côté Seite und côte Küste. Die Sprache der Zusammenstellung bestimmt also, welche Unterschiede von Bedeutung sind.

Wenn das Entfernen von diakritischen Zeichen die richtige Lösung für Ihre Anwendung ist, ist es am sichersten, eine eigene Tabelle zu erstellen, der Sie die zu konvertierenden Zeichen explizit hinzufügen.

Ein allgemeiner, automatisierter Ansatz könnte mit Hilfe der Unicode-Dekomposition entwickelt werden. Damit können Sie ein Zeichen mit diakritischen Zeichen in "kombinierende" Zeichen (die diakritischen Zeichen) und das Basiszeichen, mit dem sie kombiniert sind, zerlegen. Filtern Sie alles heraus, was ein kombinierendes Zeichen ist, und Sie sollten die "nicht-diakritischen" Zeichen erhalten.

Die fehlende Unterscheidung bei der automatisierten Methode könnte jedoch unerwartete Auswirkungen haben. Ich würde empfehlen, viele Tests mit einem repräsentativen Textkörper durchzuführen.

Answer 4

Ein einfaches Beispiel:

Um diakritische Zeichen aus einer Zeichenkette zu entfernen:

string newString = myDiacriticsString.Normalize(NormalizationForm.FormD);

Answer 5

Meine Website gibt Daten aus externen Quellen ein, die viele seltsame Zeichen enthalten. Ich habe die folgende C#-Funktion geschrieben, um akzentuierte Zeichen zu ersetzen und nicht-US-Tastaturzeichen mithilfe von Regex zu entfernen:

    using System.Text;
    using System.Text.RegularExpressions;

    internal static string SanitizeString(string source)
    {
        return Regex.Replace(source.Normalize(NormalizationForm.FormD), @"[^A-Za-z 0-9 \.,\?'""!@#\$%\^&\*\(\)-_=\+;:<>\/\\\|\}\{\[\]`~]*", string.Empty).Trim();    
    }

Ich hoffe, es hilft.