Warum vermeidet das moderne Perl standardmäßig UTF-8?

Question

Ich frage mich, warum die meisten modernen Lösungen, die mit Perl entwickelt wurden, nicht die UTF-8 standardmäßig.

Ich weiß, dass es viele Legacy-Probleme für Kern-Perl-Skripte gibt, bei denen es Dinge kaputt machen kann. Aber aus meiner Sicht ist es in den 21 st Jahrhunderts, sollten große neue Projekte (oder Projekte mit einer großen Perspektive) ihre Software von Grund auf UTF-8-fest machen. Dennoch sehe ich nicht, dass dies geschieht. Zum Beispiel, Elch ermöglicht strenge und Warnungen, aber nicht Unicode . Modern::Perl reduziert auch Boilerplate, aber keine UTF-8-Behandlung.

Warum? Gibt es Gründe, UTF-8 in modernen Perl-Projekten im Jahr 2011 zu vermeiden?

---

Der Kommentar von @tchrist wurde zu lang, also füge ich ihn hier hinzu.

Es scheint, dass ich mich nicht klar ausgedrückt habe. Lassen Sie mich versuchen, einige Dinge hinzuzufügen.

tchrist und ich sehen die Situation ziemlich ähnlich, aber unsere Schlussfolgerungen sind völlig gegensätzlich. Ich stimme zu, die Situation mit Unicode ist kompliziert, aber das ist der Grund, warum wir (Perl-Benutzer und Programmierer) eine Schicht (oder ein Pragma) brauchen, die den Umgang mit UTF-8 so einfach macht, wie er heutzutage sein muss.

tchrist auf zu viele Aspekte hinweisen, um sie zu behandeln, werde ich tagelang oder sogar wochenlang lesen und darüber nachdenken. Doch das ist nicht mein Anliegen. tchrist versucht zu beweisen, dass es nicht nur einen einzigen Weg gibt, "UTF-8 zu aktivieren". Ich habe nicht so viel Wissen, um das zu bestreiten. Also bleibe ich bei Live-Beispielen.

Ich habe herumgespielt mit Rakudo und UTF-8 war einfach da wie ich es brauchte . Ich hatte keine Probleme, es hat einfach funktioniert. Vielleicht gibt es einige Einschränkungen irgendwo tiefer, aber am Anfang funktionierte alles, was ich getestet habe, wie ich erwartet hatte.

Sollte das nicht auch ein Ziel in modernem Perl 5 sein? Ich betone es noch mehr: Ich schlage nicht UTF-8 als Standard-Zeichensatz für den Perl-Kern vor, sondern die Möglichkeit, ihn zu aktivieren mit einem Ruck für diejenigen, die sich entwickeln nouveau Projekte.

Ein weiteres Beispiel, aber mit einem eher negativen Ton. Frameworks sollen die Entwicklung erleichtern. Vor einigen Jahren habe ich Web-Frameworks ausprobiert, sie aber einfach weggeworfen, weil "UTF-8 aktivieren" so obskur war. Ich habe nicht herausgefunden, wie und wo ich die Unicode-Unterstützung einbinden kann. Es war so zeitaufwändig, dass ich es einfacher fand, den alten Weg zu gehen. Jetzt habe ich gesehen, dass es hier ein Kopfgeld gibt, um das gleiche Problem zu lösen mit Maurer 2: Wie kann man Mason2 UTF-8 sauber machen? . Es handelt sich also um ein ziemlich neues Framework, aber seine Verwendung mit UTF-8 erfordert tiefes Wissen über seine Interna. Es ist wie ein großes rotes Schild: STOP, benutze mich nicht!

Ich mag Perl sehr. Aber der Umgang mit Unicode ist schmerzhaft. Ich renne immer noch gegen Wände. Irgendwie tchrist ist richtig und beantwortet meine Fragen: neue Projekte ziehen UTF-8 nicht an, weil es in Perl 5 zu kompliziert ist.

Answer 1

Es gibt eine wirklich erschreckende Menge an altem Code da draußen in der Wildnis, vieles davon in Form von CPAN-Modulen. Ich habe festgestellt, dass ich ziemlich vorsichtig sein muss, wenn ich Unicode aktiviere, wenn ich externe Module verwende, die davon betroffen sein könnten, und ich versuche immer noch, einige Unicode-bezogene Fehler in mehreren Perl-Skripten, die ich regelmäßig verwende, zu identifizieren und zu beheben (insbesondere, iTiVo scheitert bei allem, was nicht 7-Bit-ASCII ist, aufgrund von Transkodierungsproblemen).

Answer 2

Sie sollten die Funktion für Unicode-Zeichenfolgen aktivieren, und dies ist die Standardeinstellung, wenn Sie v5.14 verwenden;

Sie sollten nicht wirklich Unicode-Bezeichner verwenden, insbesondere nicht für fremden Code über utf8, da sie in perl5 unsicher sind, nur cperl hat das richtig gemacht. Siehe z.B.. http://perl11.org/blog/unicode-identifiers.html

Bezüglich utf8 für Ihre Filehandles/Streams: Sie müssen die Kodierung Ihrer externen Daten selbst bestimmen. Eine Bibliothek kann das nicht wissen, und da nicht einmal libc utf8 unterstützt, sind richtige utf8-Daten selten. Es gibt mehr wtf8, die Windows-Abweichung von utf8.

BTW: Moose ist nicht wirklich "Modern Perl", sie haben nur den Namen gekapert. Moose ist perfektes postmodernes Perl im Larry-Wall-Stil, gemischt mit Bjarne Stroustrup-Stil, mit einer eklektischen Abweichung von der korrekten Perl6-Syntax, z.B. der Verwendung von Strings für Variablennamen, einer schrecklichen Fields-Syntax und einer sehr unausgereiften naiven Implementierung, die 10x langsamer ist als eine korrekte Implementierung. cperl und perl6 sind die wahren modernen Perls, bei denen die Form der Funktion folgt und die Implementierung reduziert und optimiert ist.