Lesen von utf-8-Zeichen aus einer gzip-Datei in Python

Question

Ich versuche, eine gunzipped Datei (.gz) in Python zu lesen und habe einige Probleme.

Ich habe das gzip-Modul verwendet, um sie zu lesen, aber die Datei ist als utf-8-Textdatei kodiert, so dass sie schließlich ein ungültiges Zeichen liest und abstürzt.

Weiß jemand, wie man gzip-Dateien lesen kann, die als utf-8-Dateien kodiert sind? Ich weiß, dass es ein Codecs-Modul gibt, das helfen kann, aber ich verstehe nicht, wie man es benutzt.

Danke!

import string
import gzip
import codecs

f = gzip.open('file.gz','r')

engines = {}
line = f.readline()
while line:
    parsed = string.split(line, u'\u0001')

    #do some things...

    line = f.readline()
for en in engines:
  print(en)

Answer 1

Dies ist seit Python 3.3 möglich:

import gzip
gzip.open('file.gz', 'rt', encoding='utf-8')

Beachten Sie, dass Sie bei gzip.open() den Textmodus ('t') explizit angeben müssen.

Answer 2

Ich wüsste nicht, warum das so schwer sein sollte.

Was machen Sie genau? Erläutern Sie bitte, dass "eventuell ein ungültiges Zeichen gelesen wird".

Es sollte so einfach sein wie:

import gzip
fp = gzip.open('foo.gz')
contents = fp.read() # contents now has the uncompressed bytes of foo.gz
fp.close()
u_str = contents.decode('utf-8') # u_str is now a unicode string

---

BEARBEITET

Diese Antwort gilt für Python2 in Python3 siehe @SeppoEnarvi 's Antwort unter https://stackoverflow.com/a/19794943/610569 (es verwendet die rt Modus für gzip.open .

Answer 3

Vielleicht

import codecs
zf = gzip.open(fname, 'rb')
reader = codecs.getreader("utf-8")
contents = reader( zf )
for line in contents:
    pass

Answer 4

Dies führte zu einer Vielzahl von Dekodierungsfehlern. Ich habe dies verwendet:

for line in io.TextIOWrapper(io.BufferedReader(gzip.open(filePath)), encoding='utf8', errors='ignore'):
    ...

Answer 5

In pythonischer Form (2,5 oder höher)

from __future__ import with_statement # for 2.5, does nothing in 2.6
from gzip import open as gzopen

with gzopen('foo.gz') as gzfile:
    for line in gzfile:
      print line.decode('utf-8')