Strings in Wörter mit mehreren Wortbegrenzern aufteilen

Question

Ich denke, was ich tun möchte, ist eine ziemlich häufige Aufgabe, aber ich habe keine Referenz im Web gefunden. Ich habe Text mit Satzzeichen und möchte eine Liste der Wörter.

"Hey, you - what are you doing here!?"

sollte sein

['hey', 'you', 'what', 'are', 'you', 'doing', 'here']

Aber Pythons str.split() funktioniert nur mit einem Argument, also habe ich alle Wörter mit dem Satzzeichen, nachdem ich mit Leerzeichen aufgeteilt habe. Irgendwelche Ideen?

Answer 1

Ein weiterer schneller Weg, dies ohne RegExp zu tun, besteht darin, die Zeichen zuerst zu ersetzen, wie unten angegeben:

>>> 'a;bcd,ef g'.replace(';',' ').replace(',',' ').split()
['a', 'bcd', 'ef', 'g']

Answer 2

So viele Antworten, aber ich kann keine Lösung finden, die effizient das macht, was der Titel der Frage wörtlich verlangt (Aufteilen nach mehreren möglichen Trennzeichen—viele Antworten teilen stattdessen nach allem auf, was kein Wort ist, was anders ist). Hier also eine Antwort auf die Frage im Titel, die auf dem standardmäßigen und effizienten re Modul von Python basiert:

>>> import re  # Wird aufteilen nach: ,  - ! ? :
>>> filter(None, re.split(r"[, \-!?:]+", "Hey, you-what are you doing here!?"))
['Hey', 'you', 'what', 'are', 'you', 'doing', 'here']

wo:

• das [...] passt zu einem der aufgelisteten Trennzeichen,
• das \- im regulären Ausdruck ist hier, um die spezielle Interpretation von - als Zeichenbereichsindikator (wie in A-Z) zu verhindern,
• das + überspringt ein oder mehrere Trennzeichen (es könnte dank des filter() weggelassen werden, aber das würde unnötigerweise leere Zeichenfolgen zwischen passenden Einzelzeichen-Trennzeichen erzeugen),
• die Verwendung eines rohen Strings r"…" macht es explizit, dass \ im String so bleiben soll, wie es ist (und keinen speziellen Charakter einführt)—dies ist nützlich für Python 3.12+—, und
• filter(None, …) entfernt die leeren Zeichenfolgen, die möglicherweise durch führende und abschließende Trennzeichen erzeugt werden (da leere Zeichenfolgen einen falschen booleschen Wert haben).

Diese re.split() teilt genau mit "mehreren Trennzeichen", wie in der Frage im Titel gefordert.

Diese Lösung ist außerdem immun gegen Probleme mit Nicht-ASCII-Zeichen in Wörtern, die in einigen anderen Lösungen gefunden wurden (siehe den ersten Kommentar zu ghostdog74's Antwort).

Das re Modul ist viel effizienter (in Geschwindigkeit und Kürze) als Schleifen und Tests in Python "von Hand" zu machen!

Answer 3

Ein anderer Weg, ohne regex

import string
punc = string.punctuation
thestring = "Hey, you - what are you doing here!?"
s = list(thestring)
''.join([o for o in s if not o in punc]).split()

Answer 4

Pro-Tipp: Verwenden Sie string.translate für die schnellsten Zeichenkettenoperationen, die Python zu bieten hat.

Ein paar Beweise...

Zuerst der langsame Weg (Entschuldigung pprzemek):

>>> import timeit
>>> S = 'Hey, du - was machst du hier!?'
>>> def my_split(s, seps):
...     res = [s]
...     for sep in seps:
...         s, res = res, []
...         for seq in s:
...             res += seq.split(sep)
...     return res
... 
>>> timeit.Timer('my_split(S, punctuation)', 'from __main__ import S,my_split; from string import punctuation').timeit()
54.65477919578552

Dann verwenden wir re.findall() (wie im vorgeschlagenen Antwort gegeben). VIEL schneller:

>>> timeit.Timer('findall(r"\w+", S)', 'from __main__ import S; from re import findall').timeit()
4.194725036621094

Zuletzt verwenden wir translate:

>>> from string import translate,maketrans,punctuation 
>>> T = maketrans(punctuation, ' '*len(punctuation))
>>> timeit.Timer('translate(S, T).split()', 'from __main__ import S,T,translate').timeit()
1.2835021018981934

Erklärung:

string.translate ist in C implementiert und anders als viele Zeichenkettenmanipulationsfunktionen in Python erzeugt string.translate keine neue Zeichenkette. Es ist also so schnell wie möglich für Zeichenaustausch.

Es ist jedoch etwas umständlich, da es eine Übersetzungstabelle benötigt, um diese Magie zu vollbringen. Sie können eine Übersetzungstabelle mit der Bequemlichkeitsfunktion maketrans() erstellen. Das Ziel hier ist es, alle unerwünschten Zeichen in Leerzeichen zu übersetzen. Ein-Eins-Ersatz. Auch hier wird keine neue Daten erzeugt. Also ist das schnell!

Dann verwenden wir das gute alte split(). split() wird standardmäßig auf alle Leerzeichenzeichen angewendet, die sie gruppiert für die Aufteilung zusammen. Das Ergebnis wird die Liste der Wörter sein, die Sie möchten. Und dieser Ansatz ist fast 4-mal schneller als re.findall()!

Answer 5

Ich stand vor einem ähnlichen Dilemma und wollte das 're'-Modul nicht verwenden.

def my_split(s, seps):
    res = [s]
    for sep in seps:
        s, res = res, []
        for seq in s:
            res += seq.split(sep)
    return res

print my_split('1111  2222 3333;4444,5555;6666', [' ', ';', ','])
['1111', '', '2222', '3333', '4444', '5555', '6666']