Zwei Dateien gleichzeitig in Python verarbeiten

Question

Ich habe Informationen über 12340 Autos. Diese Informationen sind nacheinander in zwei verschiedenen Dateien gespeichert:

1. car_names.txt, die eine Zeile für den Namen jedes Fahrzeugs enthält
2. car_descriptions.txt, die die Beschreibungen der einzelnen Fahrzeuge enthält. Also 40 Zeilen für jedes Auto, wobei die 6. Zeile @CAR_NAME lautet

Ich möchte in Python: für jedes Auto in der Datei car_descriptions.txt den Namen jedes Autos (der aus der anderen Datei stammt) in der 7. Zeile (sie ist leer) hinzufügen, direkt nach @CAR_NAME

Ich dachte darüber nach:

1) 1. Datei lesen und Fahrzeugnamen in einer Matrix/Liste speichern 2) beginne mit dem Lesen der 2. Datei und schreibe jedes Mal, wenn die Zeichenkette @CAR_NAME gefunden wird, einfach den Namen in die nächste Zeile

Aber ich frage mich, ob es einen schnelleren Ansatz gibt, so dass das Programm jedes Mal eine Zeile aus jeder Datei liest und die Änderung vornimmt.

Danke

Answer 1

Erstellen Sie zunächst einen Generator, der den Fahrzeugnamen aus einer Sequenz abruft. Sie könnten jede 7. Zeile ausgeben; ich habe meinen Generator so eingestellt, dass er jede Zeile ausgibt, die auf die Zeile folgt, die mit @CAR_NAME :

def car_names(seq):
    yieldnext=False
    for line in seq:
        if yieldnext: yield line
        yieldnext = line.startswith('@CAR_NAME')

Jetzt können Sie itertools.izip um beide Sequenzen parallel zu durchlaufen:

from itertools import izip
with open(r'c:\temp\cars.txt') as f1:
    with open(r'c:\temp\car_names.txt') as f2:
        for (c1, c2) in izip(f1, car_names(f2)):
            print c1, c2

Answer 2

Ich bin mir nicht sicher, ob ich ganz verstehe, was Sie zu tun versuchen, ist etwas wie dies?

f1 = open ('car_names.txt')
f2 = open ('car_descriptions.txt')
for car_name in f1.readlines ():
        for i in range (6):   # echo the first 6 lines
                print f2.readline ()
        assert f2.readline() == '@CAR_NAME'  # skip the 7th, but assert that it is @CAR_NAME
        print car_name    # print the real car name
        for i in range (33):  # print the remaining 33 of the original 40
               print f2.readline ()

Answer 3

Lesen car_names.txt spart zwar eine winzige Menge an Speicherplatz (nach heutigen Maßstäben wirklich winzig;-), ist aber auf keinen Fall schneller als das Schlürfen in einem Zug (im besten Fall ist es genau gleich schnell, wahrscheinlich sogar etwas langsamer, es sei denn, das zugrunde liegende Betriebssystem und das Speichersystem leisten großartige Arbeit bei der Zwischenspeicherung/Pufferung von Lesevorschau). Ich schlage also vor:

import fileinput

carnames = open('car_names.txt').readlines()
carnamit = iter(carnames)

skip = False
for line in fileinput.input(['car_descriptions.txt'], True, '.bak'):
  if not skip:
    print line,
  if '@CAR_NAME' in line:
    print next(carnamit),
    skip = True
  else:
    skip = False

Messen Sie also die Geschwindigkeit, mit der dies geschieht, und eine Alternative, die

carnamit = open('car_names.txt')

am Anfang, anstatt alle Zeilen über eine Liste zu lesen, wie meine erste Version -- ich wette, dass die erste Version (sofern es einen messbaren und wiederholbaren Unterschied gibt) sich als schneller erweisen wird.

Übrigens ist das Fileinput-Modul der Standardbibliothek dokumentiert これ und es ist wirklich eine bequeme Möglichkeit, Textdateien "virtuell an Ort und Stelle neu zu schreiben" (wobei die alte Version normalerweise als Backup für den Fall der Fälle aufbewahrt wird - aber selbst wenn der Rechner mitten in der Operation abstürzt, ist die alte Version der Daten noch vorhanden, so dass das "Neuschreiben" in gewissem Sinne atomar in Bezug auf Rechnerabstürze funktioniert, eine nette Kleinigkeit;-).

Answer 4

for line1, line2 in zip(file(filename1), file(filename2)):
    # do your thing

oder ähnlich

Answer 5

12340 sind keine Daten (in dem Sinne, dass es auf dem Markt viel größere Daten zu verarbeiten gibt).

Ein noch besserer Ansatz wäre die Verwendung des eingebauten Sqlite-Moduls. Wenn nicht, verwenden Sie ein einfaches Format wie z.B. CSV. Dies ist eine organisierte Struktur. Wenn nicht verwenden Threads, könnten Sie zwei Dateien gleichzeitig verarbeiten.