Wie kann ich die erste Zeile einer Textdatei mit einem bash/sed-Skript entfernen?

Question

Ich muss wiederholt die erste Zeile aus einer großen Textdatei mit Hilfe eines Bash-Skripts entfernen.

Zurzeit verwende ich sed -i -e "1d" $FILE - aber es dauert etwa eine Minute, bis die Löschung erfolgt.

Gibt es eine effizientere Möglichkeit, dies zu erreichen?

Answer 1

Sie könnten dafür vim verwenden:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Dies sollte schneller sein, da vim beim Verarbeiten nicht die ganze Datei liest.

Answer 2

Wie wäre es mit der Verwendung von csplit?

man csplit
csplit -k file 1 '{1}'

Answer 3

Diese eine Zeile wird genügen:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Es funktioniert, da tail ausgeführt wird, bevor echo und dann wird die Datei entsperrt, so dass keine temporäre Datei erforderlich ist.

Answer 4

Da ich das Löschen wohl nicht beschleunigen kann, wäre es vielleicht sinnvoll, die Datei in Stapeln zu verarbeiten, etwa so:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

Der Nachteil ist, dass, wenn das Programm in der Mitte abgebrochen wird (oder wenn es einige schlechte sql in dort - was die "Prozess"-Teil zu sterben oder blockiert), wird es Zeilen, die entweder übersprungen werden, oder zweimal verarbeitet.

(file1 enthält Zeilen mit SQL-Code)

Answer 5

Wenn Sie nach einem Fehlschlag wiederhergestellt werden sollen, können Sie einfach eine Datei erstellen, die Ihre bisherigen Schritte enthält.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done