Ist die Berechnung eines MD5-Hashes weniger rechenintensiv als SHA-1 oder SHA-2 auf "Standard"-Laptop-x86-Hardware? Ich bin an allgemeinen Informationen interessiert, nicht spezifisch für einen bestimmten Chip.
UPDATE: In meinem Fall bin ich daran interessiert, den Hash-Wert einer Datei zu berechnen. Wenn die Dateigröße eine Rolle spielt, nehmen wir an, es sind 300K.
Ja, MD5 ist etwas weniger CPU-intensiv. Auf meinem Intel x86 (Core2 Quad Q6600, 2,4 GHz, mit einem Kern), bekomme ich dies im 32-Bit-Modus:
MD5 411
SHA-1 218
SHA-256 118
SHA-512 46und dies im 64-Bit-Modus:
MD5 407
SHA-1 312
SHA-256 148
SHA-512 189Die Angaben sind in Megabyte pro Sekunde für eine "lange" Nachricht (das ist der Wert, den Sie für Nachrichten erhalten, die länger als 8 kB sind). Dies ist mit sphlib eine Bibliothek mit Implementierungen von Hash-Funktionen in C (und Java). Alle Implementierungen stammen vom selben Autor (mir) und wurden mit vergleichbaren Optimierungsanstrengungen erstellt; daher können die Geschwindigkeitsunterschiede als wirklich funktionsimmanent betrachtet werden.
Zum Vergleich: Eine aktuelle Festplatte läuft mit etwa 100 MB/s, und alles, was über USB läuft, kommt auf unter 60 MB/s. Auch wenn SHA-256 hier "langsam" erscheint, ist es für die meisten Zwecke schnell genug.
Beachten Sie, dass OpenSSL enthält eine 32-Bit-Implementierung von SHA-512, die deutlich schneller ist als mein Code (aber nicht so schnell wie der 64-Bit-SHA-512), weil die OpenSSL-Implementierung in Assembler geschrieben ist und SSE2-Register verwendet, was in einfachem C nicht möglich ist. SHA-512 ist die einzige Funktion unter diesen vier, die von einer SSE2-Implementierung profitiert.
Editer : において diese Seite ( Archiv ) finden Sie einen Bericht über die Geschwindigkeit vieler Hash-Funktionen (klicken Sie auf den Link "Telechargez maintenant"). Der Bericht ist in französischer Sprache, aber er besteht hauptsächlich aus Tabellen und Zahlen, und Zahlen sind international. Die implementierten Hash-Funktionen umfassen nicht die SHA-3-Kandidaten (außer SHABAL), aber ich arbeite daran.
Auf meinem 2012er Macbook Air (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo) ist SHA-1 etwas schneller als MD5 (mit OpenSSL im 64-Bit-Modus):
$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k
sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62kAktualisierung: 10 Monate später, mit OS X 10.9, wurde SHA-1 auf demselben Rechner langsamer:
$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k
sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86kZweite Aktualisierung: Unter OS X 10.10 ist die SHA-1-Geschwindigkeit wieder auf dem Niveau von 10.8:
$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k
sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77kDritte Aktualisierung: OS X 10.14 mit LibreSSL ist viel schneller (immer noch auf demselben Rechner). SHA-1 hat immer noch die Nase vorn:
$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 43128.00k 131797.91k 304661.16k 453120.00k 526789.29k
sha1 55598.35k 157916.03k 343214.08k 489092.34k 570668.37k
Als jemand, der ein wenig Zeit mit der Optimierung der MD5-Leistung verbracht Ich dachte, ich würde eine technischere Erklärung als die hier bereitgestellten Benchmarks liefern, damit jeder, der dies in Zukunft findet, davon profitieren kann.
MD5 macht weniger "Arbeit" als SHA1 (z. B. weniger Komprimierungsrunden), so dass man meinen könnte, es sollte schneller sein. Der MD5-Algorithmus ist jedoch größtenteils eine einzige große Abhängigkeitskette, was bedeutet, dass er moderne superskalare Prozessoren nicht besonders gut ausnutzt (d. h. er weist niedrige Anweisungen pro Takt auf). SHA1 verfügt über mehr Parallelisierung, so dass es trotz des höheren "Rechenaufwands" auf modernen superskalaren Prozessoren oft schneller ist als MD5.
Wenn Sie den Vergleich zwischen MD5 und SHA1 auf älteren Prozessoren oder solchen mit geringerer superskalarer "Breite" (wie z. B. einer Silvermont-basierten Atom-CPU) durchführen, werden Sie im Allgemeinen feststellen, dass MD5 schneller ist als SHA1.
SHA2 und SHA3 sind noch rechenintensiver als SHA1 und im Allgemeinen viel langsamer.
Zu beachten ist jedoch, dass einige neue x86- und ARM-CPUs über Befehle zur Beschleunigung von SHA1 und SHA256 verfügen, was diesen Algorithmen natürlich sehr hilft, wenn die Befehle verwendet werden.
Nebenbei bemerkt: Die Leistung von SHA256 und SHA512 kann ein ähnlich merkwürdiges Verhalten aufweisen. SHA512 macht mehr "Arbeit" als SHA256, aber ein wesentlicher Unterschied zwischen den beiden ist, dass SHA256 mit 32-Bit-Wörtern arbeitet, während SHA512 mit 64-Bit-Wörtern arbeitet. Daher ist SHA512 auf einer Plattform mit einer 64-Bit-Wortgröße im Allgemeinen schneller als SHA256, da es die doppelte Datenmenge auf einmal verarbeitet. Umgekehrt sollte SHA256 auf einer Plattform mit einer 32-Bit-Wortgröße schneller sein als SHA512.
Beachten Sie, dass alle obigen Ausführungen nur für das Single-Buffer-Hashing gelten (der bei weitem häufigste Anwendungsfall). Wenn Sie sich etwas einfallen lassen und mehrere Hashes parallel berechnen, d.h. einen Multi-Buffer-SIMD-Ansatz, ändert sich das Verhalten etwas.
Die wirkliche Antwort ist: Es kommt darauf an
Es gibt eine Reihe von Faktoren zu berücksichtigen, die offensichtlichsten sind: die CPU, auf der diese Algorithmen ausgeführt werden, und die Implementierung der Algorithmen.
Ich und mein Freund haben zum Beispiel beide die gleiche openssl-Version und erhalten leicht unterschiedliche Ergebnisse mit unterschiedlichen Intel Core i7-CPUs.
Aktualisierung 2021 Ran openssl speed sha1 md5 auf einem Ryzen 9 3900x: Sha1 ist jetzt 2-3 mal schneller als md5 und der Unterschied wird größer, wenn die Datengröße zunimmt
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes 16384 bytes
md5 171084.26k 373867.24k 660204.56k 783808.17k 840138.75k 843743.23k
sha1 309769.46k 772013.89k 1523885.48k 2017251.67k 2226836.82k 2251024.61kUpdate beenden
Mein Test bei der Arbeit mit einer Intel(R) Core(TM) i7-2600 CPU @ 3.40GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k
sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50kUnd seine mit einer Intel(R) Core(TM) i7 CPU 920 @ 2.67GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k
sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68kWir verwenden beide die exakt gleichen Binärdateien von OpenSSL 1.0.1j 15 Oct 2014 aus dem offiziellen ArchLinux-Paket.
Meiner Meinung nach ist es aufgrund der zusätzlichen Sicherheit von sha1 wahrscheinlicher, dass die CPU-Entwickler die Geschwindigkeit von sha1 verbessern und mehr Programmierer an der Optimierung des Algorithmus arbeiten als an md5sum.
Ich vermute, dass md5 eines Tages nicht mehr verwendet werden wird, da es keinen Vorteil gegenüber sha1 zu haben scheint. Ich habe auch einige Fälle mit echten Dateien getestet und die Ergebnisse waren in beiden Fällen immer gleich (wahrscheinlich begrenzt durch die Festplatten-E/A).
Die md5sum einer 4,6 GB großen Datei benötigte genau die gleiche Zeit wie die sha1sum der gleichen Datei, dasselbe gilt für viele kleine Dateien (488 im gleichen Verzeichnis). Ich habe die Tests ein Dutzend Mal durchgeführt, und sie lieferten durchweg die gleichen Ergebnisse.
--
Es wäre sehr interessant, dies weiter zu untersuchen. Ich vermute, dass es einige Experten gibt, die eine solide Antwort darauf geben können, warum sha1 auf neueren Prozessoren schneller ist als md5.
MD5 profitiert auch von der Verwendung von SSE2, schauen Sie sich BarsWF an und sagen Sie mir dann, dass es das nicht tut. Mit ein wenig Assembler-Kenntnissen können Sie Ihre eigene(n) MD5 SSE2-Routine(n) erstellen. Für einen hohen Durchsatz gibt es jedoch einen Kompromiss zwischen der Geschwindigkeit beim Hashing und der Zeit, die für die Neuanordnung der Eingabedaten aufgewendet wird, um mit den verwendeten SIMD-Anweisungen kompatibel zu sein.
CodeJaeger ist eine Gemeinschaft für Programmierer, die täglich Hilfe erhalten..
Wir haben viele Inhalte, und Sie können auch Ihre eigenen Fragen stellen oder die Fragen anderer Leute lösen.
