Alle akzentuierten Zeichen in einer Zeichenkette effizient ersetzen?

Question

Für die Umsetzung eines armen Mannes von in der Nähe von -korrekte Sortierung auf der Client-Seite Ich brauche eine JavaScript-Funktion, die effizient Ersetzung einzelner Zeichen in einer Zeichenkette.

Hier ist, was ich meine (beachten Sie, dass dies für den deutschen Text gilt, andere Sprachen sortieren anders):

native sorting gets it wrong: a b c o u z ä ö ü
collation-correct would be:   a ä b c o ö u ü z

Im Grunde muss ich alle Vorkommen von "ä" in einer gegebenen Zeichenkette durch "a" (und so weiter) ersetzen. Auf diese Weise würde das Ergebnis der nativen Sortierung sehr nahe an dem liegen, was ein Benutzer erwarten würde (oder was eine Datenbank zurückgeben würde).

In anderen Sprachen ist dies möglich: Python-Lieferungen str.translate() , in Perl gibt es tr/…/…/ , XPath hat eine Funktion translate() , ColdFusion hat ReplaceList() . Aber was ist mit JavaScript?

Hier ist, was ich im Moment habe.

// s would be a rather short string (something like 
// 200 characters at max, most of the time much less)
function makeSortString(s) {
  var translate = {
    "ä": "a", "ö": "o", "ü": "u",
    "Ä": "A", "Ö": "O", "Ü": "U"   // probably more to come
  };
  var translate_re = /[öäüÖÄÜ]/g;
  return ( s.replace(translate_re, function(match) { 
    return translate[match]; 
  }) );
}

Zunächst einmal gefällt mir nicht, dass die Regex bei jedem Funktionsaufruf neu aufgebaut wird. Ich schätze, dass eine Schließung in dieser Hinsicht helfen kann, aber ich scheine aus irgendeinem Grund nicht den Dreh raus zu haben.

Fällt jemandem etwas Effizienteres ein?

---

Die folgenden Antworten fallen in zwei Kategorien:

1. Funktionen zur Ersetzung von Zeichenketten mit unterschiedlichem Grad an Vollständigkeit und Effizienz (worum ich ursprünglich gebeten hatte)
2. A späte Erwähnung von String#localeCompare die jetzt weitgehend unterstützt unter den JS-Engines (nicht so sehr zum Zeitpunkt der Frage) und könnte diese Art von Problem viel eleganter lösen.

Answer 1

Vor langer Zeit habe ich dies in Java gemacht und die Lösung eines anderen gefunden, die auf einer einzigen Zeichenkette basiert, die den Teil der Unicode-Tabelle erfasst, der für die Konvertierung wichtig war - der Rest wurde in ? oder ein anderes Ersatzzeichen umgewandelt. Also habe ich versucht, es in JavaScript zu konvertieren. Allerdings bin ich kein JS-Experte :-)

TAB_00C0 = "AAAAAAACEEEEIIII" +
    "DNOOOOO*OUUUUYIs" +
    "aaaaaaaceeeeiiii" +
    "?nooooo/ouuuuy?y" +
    "AaAaAaCcCcCcCcDd" +
    "DdEeEeEeEeEeGgGg" +
    "GgGgHhHhIiIiIiIi" +
    "IiJjJjKkkLlLlLlL" +
    "lLlNnNnNnnNnOoOo" +
    "OoOoRrRrRrSsSsSs" +
    "SsTtTtTtUuUuUuUu" +
    "UuUuWwYyYZzZzZzF";

function stripDiacritics(source) {
    var result = source.split('');
    for (var i = 0; i < result.length; i++) {
        var c = source.charCodeAt(i);
        if (c >= 0x00c0 && c <= 0x017f) {
            result[i] = String.fromCharCode(TAB_00C0.charCodeAt(c - 0x00c0));
        } else if (c > 127) {
            result[i] = '?';
        }
    }
    return result.join('');
}

stripDiacritics("Šupa, o? šžýæøåð")

Damit werden die meisten lateinischen1+2 Unicode-Zeichen umgewandelt. Es ist nicht in der Lage, einzelne Zeichen in mehrere zu übersetzen. Ich weiß nicht, seine Leistung auf JS, in Java ist dies bei weitem die schnellste der gemeinsamen Lösungen (6-50x), gibt es keine Karte, gibt es keine Regex, nichts. Es produziert strenge ASCII-Ausgabe, möglicherweise mit einem Verlust von Informationen, aber die Größe der Ausgabe entspricht die Eingabe.

Ich habe das Snippet mit http://www.webtoolkitonline.com/javascript-tester.html und es produzierte Supa, co? lstczyaoa?? wie erwartet.

Answer 2

Wenn Sie eine Sortierung erreichen wollen, bei der "ä" nach "a" kommt und nicht als gleichwertig behandelt wird, können Sie eine Funktion wie meine verwenden.

Sie können das Alphabet jederzeit ändern, um andere oder sogar seltsame Sortierungen zu erhalten. Wenn Sie jedoch möchten, dass einige Buchstaben gleichwertig sind, müssen Sie die Zeichenketten wie folgt manipulieren a = a.replace(/ä/, 'a') oder ähnliches, wie viele bereits oben geantwortet haben. Ich habe die Großbuchstaben eingefügt, falls jemand alle Wörter in Großbuchstaben vor allen Wörtern in Kleinbuchstaben haben möchte (dann muss man die Großbuchstaben weglassen .toLowerCase() ).

function sortbyalphabet(a,b) {
        alphabet = "0123456789AaÀàÁáÂâÃãÄäBbCcÇçDdÈèÉéÊêËëFfGgHhÌìÍíÎîÏïJjKkLlMmNnÑñOoÒòÓóÔôÕõÖöPpQqRrSsTtÙùÚúÛûÜüVvWwXxÝýŸÿZz";
        a = a.toLowerCase();
        b = b.toLowerCase();
        shorterone = (a.length > b.length ? a : b);
        for (i=0; i<shorterone.length; i++){
            diff = alphabet.indexOf(a.charAt(i)) - alphabet.indexOf(b.charAt(i));
            if (diff!=0){
                return diff;
            }
        }
        // sort the shorter first
        return a.length - b.length;
    }
    var n = ["ast", "Äste", "apfel", "äpfel", "à"];
    console.log(n.sort(sortbyalphabet));
    // should return ["apfel", "ast", "à", "äpfel", "äste"]

Answer 3

Ein einfacher und leichter Weg:

function remove-accents(p){
c='áàãâäéèêëíìîïóòõôöúùûüçÁÀÃÂÄÉÈÊËÍÌÎÏÓÒÕÖÔÚÙÛÜÇ';s='aaaaaeeeeiiiiooooouuuucAAAAAEEEEIIIIOOOOOUUUUC';n='';for(i=0;i<p.length;i++){if(c.search(p.substr(i,1))>=0){n+=s.substr(c.search(p.substr(i,1)),1);} else{n+=p.substr(i,1);}} return n;
}

Dann tun Sie dies:

remove-accents("Thís ís ân accêntéd phráse");

Ausgabe:

"This is an accented phrase"

Answer 4

Antwort os Crisalin ist fast perfekt. Ich habe nur die Leistung verbessert, um zu vermeiden, dass bei jedem Durchlauf neue RegExp erstellt werden.

var normalizeConversions = [
    { regex: new RegExp('ä|æ|', 'g'), clean: 'ae' },
    { regex: new RegExp('ö|œ', 'g'), clean: 'oe' },
    { regex: new RegExp('ü', 'g'), clean: 'ue' },
    { regex: new RegExp('Ä', 'g'), clean: 'Ae' },
    { regex: new RegExp('Ü', 'g'), clean: 'Ue' },
    { regex: new RegExp('Ö', 'g'), clean: 'Oe' },
    { regex: new RegExp('À|Á|Â|Ã|Ä|Å|||||', 'g'), clean: 'A' },
    { regex: new RegExp('à|á|â|ã|å||||||ª', 'g'), clean: 'a' },
    { regex: new RegExp('Ç||||', 'g'), clean: 'C' },
    { regex: new RegExp('ç||||', 'g'), clean: 'c' },
    { regex: new RegExp('Ð||', 'g'), clean: 'D' },
    { regex: new RegExp('ð||', 'g'), clean: 'd' },
    { regex: new RegExp('È|É|Ê|Ë|||||', 'g'), clean: 'E' },
    { regex: new RegExp('è|é|ê|ë|||||', 'g'), clean: 'e' },
    { regex: new RegExp('|||', 'g'), clean: 'G' },
    { regex: new RegExp('|||', 'g'), clean: 'g' },
    { regex: new RegExp('|', 'g'), clean: 'H' },
    { regex: new RegExp('|', 'g'), clean: 'h' },
    { regex: new RegExp('Ì|Í|Î|Ï||||||', 'g'), clean: 'I' },
    { regex: new RegExp('ì|í|î|ï||||||', 'g'), clean: 'i' },
    { regex: new RegExp('', 'g'), clean: 'J' },
    { regex: new RegExp('', 'g'), clean: 'j' },
    { regex: new RegExp('', 'g'), clean: 'K' },
    { regex: new RegExp('', 'g'), clean: 'k' },
    { regex: new RegExp('||||', 'g'), clean: 'L' },
    { regex: new RegExp('||||', 'g'), clean: 'l' },
    { regex: new RegExp('Ñ|||', 'g'), clean: 'N' },
    { regex: new RegExp('ñ||||', 'g'), clean: 'n' },
    { regex: new RegExp('Ò|Ó|Ô|Õ||||||Ø|', 'g'), clean: 'O' },
    { regex: new RegExp('ò|ó|ô|õ||||||ø||º', 'g'), clean: 'o' },
    { regex: new RegExp('||', 'g'), clean: 'R' },
    { regex: new RegExp('||', 'g'), clean: 'r' },
    { regex: new RegExp('|||Š', 'g'), clean: 'S' },
    { regex: new RegExp('|||š|', 'g'), clean: 's' },
    { regex: new RegExp('||', 'g'), clean: 'T' },
    { regex: new RegExp('||', 'g'), clean: 't' },
    { regex: new RegExp('Ù|Ú|Û||||||||||||', 'g'), clean: 'U' },
    { regex: new RegExp('ù|ú|û||||||||||||', 'g'), clean: 'u' },
    { regex: new RegExp('Ý|Ÿ|', 'g'), clean: 'Y' },
    { regex: new RegExp('ý|ÿ|', 'g'), clean: 'y' },
    { regex: new RegExp('', 'g'), clean: 'W' },
    { regex: new RegExp('', 'g'), clean: 'w' },
    { regex: new RegExp('||Ž', 'g'), clean: 'Z' },
    { regex: new RegExp('||ž', 'g'), clean: 'z' },
    { regex: new RegExp('Æ|', 'g'), clean: 'AE' },
    { regex: new RegExp('ß', 'g'), clean: 'ss' },
    { regex: new RegExp('', 'g'), clean: 'IJ' },
    { regex: new RegExp('', 'g'), clean: 'ij' },
    { regex: new RegExp('Œ', 'g'), clean: 'OE' },
    { regex: new RegExp('ƒ', 'g'), clean: 'f' }
];

Verwendung:

function(str){
    normalizeConversions.forEach(function(normalizeEntry){
        str = str.replace(normalizeEntry.regex, normalizeEntry.clean);
    });
    return str;
};

Answer 5

Ich habe das Problem auf eine andere Weise gelöst, wenn Sie möchten.

Hier habe ich zwei Arrays verwendet, in denen searchChars die ersetzt werden sollen und replaceChars mit den gewünschten Zeichen.

var text = "your input string";
var searchChars = ['Å','Ä','å','Ö','ö']; // add more charecter.
var replaceChars = ['A','A','a','O','o']; // exact same index to searchChars.
var index;
for (var i = 0; i < text.length; i++) {
  if( $.inArray(text[i], searchChars) >-1 ){ // $.inArray() is from jquery.
    index = searchChars.indexOf(text[i]);
    text = text.slice(0, i) + replaceChars[index] + text.slice(i+1,text.length);
  }
}