Strings in Wörter mit mehreren Wortbegrenzern aufteilen

Question

Ich denke, was ich tun möchte, ist eine ziemlich häufige Aufgabe, aber ich habe keine Referenz im Web gefunden. Ich habe Text mit Satzzeichen und möchte eine Liste der Wörter.

"Hey, you - what are you doing here!?"

sollte sein

['hey', 'you', 'what', 'are', 'you', 'doing', 'here']

Aber Pythons str.split() funktioniert nur mit einem Argument, also habe ich alle Wörter mit dem Satzzeichen, nachdem ich mit Leerzeichen aufgeteilt habe. Irgendwelche Ideen?

Answer 1

Statt der Verwendung einer re-Modul-Funktion re.split können Sie dasselbe Ergebnis erzielen, indem Sie die Methode series.str.split von Pandas verwenden.

Erstellen Sie zunächst eine Serie mit dem obigen String und wenden Sie dann die Methode auf die Serie an.

thestring = pd.Series("Hey, you - what are you doing here!?") thestring.str.split(pat = ',|-')

Der Parameter pat nimmt die Trennzeichen entgegen und gibt den aufgeteilten String als Array zurück. Hier werden die beiden Trennzeichen mit einem | (oder Operator) übergeben. Das Ergebnis lautet wie folgt:

[Hey, you , what are you doing here!?]

Answer 2

In Python 3 können Sie die Methode von PY4E - Python for Everybody verwenden.

Beide Probleme können wir lösen, indem wir die String-Methoden lower, punctuation und translate verwenden. Translate ist die subtilste Methode. Hier ist die Dokumentation für translate:

Ihr_String.translate(Ihr_String.maketrans(fromstr, tostr, deletestr))

Ersetzen Sie die Zeichen in fromstr durch das Zeichen an derselben Position in tostr und löschen Sie alle Zeichen, die in deletestr enthalten sind. Die Parameter fromstr und tostr können leere Strings sein, und der Parameter deletestr kann weggelassen werden.

Sie können die "Punktuierung" sehen:

In [10]: import string

In [11]: string.punctuation
Out[11]: '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~'  

Für Ihr Beispiel:

In [12]: Ihr_Str = "Hey, you - what are you doing here!?"

In [13]: Zeile = Ihr_Str.translate(Ihr_Str.maketrans('', '', string.punctuation))

In [14]: Zeile = Zeile.lower()

In [15]: Wörter = Zeile.split()

In [16]: print(Wörter)
['hey', 'you', 'what', 'are', 'you', 'doing', 'here']

Weitere Informationen finden Sie unter:

• PY4E - Python for Everybody
• str.translate
• str.maketrans
• Python String maketrans() Methode

Answer 3

Ich erneuere meine Kenntnisse in Python und brauchte dasselbe. Die Lösung mit findall mag besser sein, aber ich habe das geschrieben:

tokens = [x.strip() for x in data.split(',')]

Answer 4

Mit maketrans und übersetzen können Sie es einfach und ordentlich machen

import string
specials = ',.!?:;"()<>[]#$=-/'
trans = string.maketrans(specials, ' '*len(specials))
body = body.translate(trans)
words = body.strip().split()

Answer 5

Ein weiterer Weg, dies zu erreichen, ist die Verwendung des Natural Language Tool Kits (nltk).

import nltk
data= "Hey, you - what are you doing here!?"
word_tokens = nltk.tokenize.regexp_tokenize(data, r'\w+')
print word_tokens

Dies druckt: ['Hey', 'you', 'what', 'are', 'you', 'doing', 'here']

Der größte Nachteil dieser Methode ist, dass Sie das nltk-Paket installieren müssen.

Die Vorteile sind, dass Sie eine Menge spaßiger Dinge mit dem Rest des nltk-Pakets machen können, sobald Sie Ihre Tokens haben.