Beschleunigung von mysql-Dumps und Importen

Question

Gibt es dokumentierte Techniken zur Beschleunigung von mySQL-Dumps und Importen?

Dazu gehören my.cnf-Einstellungen, die Verwendung von Ramdisks usw.

Ich suche nur nach dokumentierten Techniken, vorzugsweise mit Benchmarks, die eine mögliche Beschleunigung zeigen.

Answer 1

1. Holen Sie sich eine Kopie von Hochleistungs-MySQL . Tolles Buch.
2. Erweiterte Einsätze in Deponien
3. Dump mit dem Format --tab, damit Sie mysqlimport benutzen können, das schneller ist als mysql < dumpfile
4. Import mit mehreren Threads, einen für jede Tabelle.
5. Verwenden Sie nach Möglichkeit eine andere Datenbank-Engine. stark transaktionalen Engine wie innodb ist furchtbar langsam. Das Einfügen von in eine nicht-transaktionale Engine wie MyISAM ist viel, viel schneller.
6. Sehen Sie sich das Skript zum Tabellenvergleich im Maakit-Toolkit an und prüfen Sie, ob Sie Ihre Tabellen aktualisieren können, anstatt sie zu löschen und zu importieren. Aber Sie sprechen wahrscheinlich von Backups/Wiederherstellungen.

Answer 2

http://www.maatkit.org/ hat ein mk-parallel-dump und mk-parallel-restore

Wenn Sie sich ein Multithreading-fähiges mysqldump gewünscht haben, brauchen Sie sich nichts mehr zu wünschen. Dieses Tool dumpt MySQL-Tabellen parallel. Es ist ein viel intelligenteres mysqldump, das entweder als Wrapper für mysqldump (mit vernünftigem Standardverhalten) oder als Wrapper für SELECT INTO OUTFILE fungieren kann. Er wurde für Hochleistungsanwendungen mit sehr großen Datenmengen entwickelt, bei denen Geschwindigkeit eine große Rolle spielt. Es nutzt die Vorteile von mehreren CPUs und Festplatten, um Ihre Daten viel schneller zu dumpen.

Es gibt auch verschiedene potenzielle Optionen in mysqldump, wie z.B. keine Indizes zu erstellen, während der Dump importiert wird - sondern sie stattdessen en-mass bei der Fertigstellung zu erstellen.

Answer 3

Wenn Sie nach InnoDB importieren, ist das effektivste, was Sie tun können, die

innodb_flush_log_at_trx_commit = 2

in Ihrem my.cnf vorübergehend, während der Import läuft. Sie können ihn zurücksetzen auf 1 wenn Sie ACID benötigen.

Answer 4

Ich denke, Ihre Frage hängt auch davon ab, wo der Engpass liegt:

• Wenn Ihr Netzwerk ein Engpass ist, können Sie auch einen Blick auf die -C / --compress Flagge zu mysqldump .
• Wenn Ihrem Computer der Speicher ausgeht (d.h. er beginnt zu swappen), sollten Sie mehr Speicher kaufen.

Werfen Sie auch einen Blick auf die --quick Flagge für mysqldump (und --disable-keys wenn Sie MyIsam verwenden).

Answer 5

Die Verwendung von erweiterten Einfügungen in Dumps sollte die Importe beschleunigen.