Konvertierung von DOS/Windows newline (CRLF) in Unix newline (LF) in einem Bash-Skript

Question

Wie kann ich programmatisch (d. h. nicht mit vi ) DOS/Windows-Neustriche in Unix?

En dos2unix y unix2dos Befehle sind auf bestimmten Systemen nicht verfügbar. Wie kann ich diese mit Befehlen emulieren wie sed , awk y tr ?

Answer 1

Sie können verwenden tr um von DOS nach Unix zu konvertieren; allerdings können Sie dies nur dann sicher tun, wenn CR in Ihrer Datei nur als erstes Byte eines CRLF-Bytepaares vorkommt. Dies ist normalerweise der Fall. Sie verwenden dann:

tr -d '\015' <DOS-file >UNIX-file

Beachten Sie, dass der Name DOS-file ist anders als der Name UNIX-file Wenn Sie versuchen, denselben Namen zweimal zu verwenden, werden Sie keine Daten in der Datei finden.

Der umgekehrte Weg (mit dem Standard-'tr') ist nicht möglich.

Wenn Sie wissen, wie man einen Zeilenumbruch in ein Skript eingibt ( control-V , control-M um Control-M einzugeben), dann:

sed 's/^M$//'     # DOS to Unix
sed 's/$/^M/'     # Unix to DOS

wobei das '^M' das Steuerzeichen M ist. Sie können auch das bash ANSI-C Quotierung Mechanismus zur Angabe des Wagenrücklaufs:

sed $'s/\r$//'     # DOS to Unix
sed $'s/$/\r/'     # Unix to DOS

Wenn Sie dies jedoch sehr oft tun müssen (mehr als einmal, grob gesagt), ist es weitaus sinnvoller, die Konvertierungsprogramme zu installieren (z. B. dos2unix y unix2dos oder vielleicht dtou y utod ) und verwenden Sie sie.

Wenn Sie ganze Verzeichnisse und Unterverzeichnisse verarbeiten müssen, können Sie zip :

zip -r -ll zipfile.zip somedir/
unzip zipfile.zip

Dadurch wird ein Zip-Archiv erstellt, bei dem die Zeilenenden von CRLF in CR geändert werden. unzip setzt dann die konvertierten Dateien wieder an ihren Platz (und fragt Sie Datei für Datei - Sie können antworten: Ja-zu-Alle). Vielen Dank an @vmsnomad für den Hinweis auf dieses Problem.

Answer 2

Sie können Vim programmatisch verwenden mit der Option -c {command} :

Von DOS zu Unix:

vim file.txt -c "set ff=unix" -c ":wq"

Von Unix zu DOS:

vim file.txt -c "set ff=dos" -c ":wq"

"set ff=unix/dos" bedeutet, dass das Dateiformat (ff) der Datei auf das Unix/DOS-Zeilenendeformat geändert wird.

":wq" bedeutet, dass die Datei auf die Festplatte geschrieben und der Editor beendet wird (so dass der Befehl in einer Schleife verwendet werden kann).

Answer 3

Verwendung:

tr -d "\r" < file

Sehen Sie selbst aquí für Beispiele mit sed :

# In a Unix environment: convert DOS newlines (CR/LF) to Unix format.
sed 's/.$//'               # Assumes that all lines end with CR/LF
sed 's/^M$//'              # In Bash/tcsh, press Ctrl-V then Ctrl-M
sed 's/\x0D$//'            # Works on ssed, gsed 3.02.80 or higher

# In a Unix environment: convert Unix newlines (LF) to DOS format.
sed "s/$/`echo -e \\\r`/"            # Command line under ksh
sed 's/$'"/`echo \\\r`/"             # Command line under bash
sed "s/$/`echo \\\r`/"               # Command line under zsh
sed 's/$/\r/'                        # gsed 3.02.80 or higher

Verwenden Sie sed -i für die Konvertierung an Ort und Stelle, z.B., sed -i 's/..../' file .

Answer 4

Installieren Sie dos2unix und konvertieren Sie dann eine Datei an Ort und Stelle mit

dos2unix <filename>

Um konvertierten Text in eine andere Datei auszugeben, verwenden Sie

dos2unix -n <input-file> <output-file>

---

Sie können es unter Ubuntu oder Debian installieren mit

sudo apt install dos2unix

oder unter macOS mit Selbstgebrautes

brew install dos2unix

Answer 5

Mit AWK können Sie das tun:

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt

Mit Perl können Sie das tun:

perl -pe 's/\r$//' < dos.txt > unix.txt