Benchmark-Software für HARDWARE-RAID mit viel Cache

Hier nun ein paar positiv- und negativ-Beispiele, wie Benchmarks aussehen können und aussehen sollten.

Der Vollständigkeit halber:
Getestet auf einem H8DCi, 2x Opteron 852, 9690SA-8i, 6x Seagate Barracuda 7200.11 1,5TB ST31500341AS, RAID-50, "balanced" Performance, 64k Stripe-Size, leere 500GB Partition NTFS, 512bytes pro Zuordnungseinheit, Windows XP SP3, 4GB RAM (8x 512MB PC3200, ECC, REG).
Das sollte alles sein, was irgendwie für die Ergebnisse interessant ist.

----

2006.07.27 ist die letzte offizielle IOmeter-Version auf der Sourceforge-Seite, die zur Zeit zum Download bereit steht.
Diese zeigt noch brav in 32bit Windows in Cyan hervorgeben ein "PHYSICALDRIVE:2"

Getestet nach 3Ware-Vorgaben (256 outstanding IOs, 64k streaming reads) mit einem RAID-50 werden die Ergebnisse schon relativ einheitlich - die Schwankungen sind VIEL geringer als bei einem RAID-0, aber trotzdem sieht man immer mal wieder negative Zugriffszeiten. Wenn das auftritt, stimmt etwas nicht und die Ergebnisse, so schön sie auch scheinen mögen, sind unglaubwürdig bzw. wertlos:
Rund 1200MB/s und 20000 IO/s sind dann doch "etwas" zu viel.
Hier die dazu passenden Bilder:



Eventuell sind dies reine Cache-Transferraten oder Fehler in der Berechnung. Richtig sind diese Ergebnisse nicht.

-----

Da die neue Version unter 32bit Windows nicht mehr direkt auf die Partition zugreifen kann, wurde eine 500GB Partition auf dem RAID-50 angelegt und IOmeter 2008.06.22 gestartet. Testgröße: 8000000 Sektoren, was einer Datei von 4GB entspricht. Das passt zumindest schonmal nicht in den Cache des Controllers.
Das Erstellen einer solch großen Datei dauert natürlich erstmal eine Weile.

Getestet wieder 64k streaming reads bei 1 outstanding IO, 2, 3, 8 und 256 outstanding IOs (ab 8 gibt es erfahrungsgemäß kaum steigende Werte, 256 outstanding IOs entspricht der Empfehlung von 3Ware).

Ergebnisse RAID-50:
1IO:

2IOs:

3IOs:

8IOs:

256IOs:

Nunja, immerhin! Zumindest die Transferraten scheinen schonmal einen "sinnvollen" Wert erreicht zu haben, auch wenn ich persönlich etwas mehr von einem RAID-50 erwartet hätte.

----

HD-Tune Pro:
Wenn man die Standardeinstellungen beibehält, dann landet man auf ca 140MB/s. Da ist halt Sense bei einem ausstehenden IO und angeforderten 64KB. Was anderes testet der nicht und es entspricht dann ja auch ungefähr den Werten von IOmeter bei diesen Einstellungen.


Wenn man nun aber an der Blockgröße dreht...
512KB:


8MB:


----

Und Zugriffszeiten:


----

Hier ein paar Testergebnisse unter Windows Server 2008 Enterprise Edition 64bit auf dem gleichen RAID-50 von zuvor.

Zuerst HD-Tune 3.5 PRO:

64kB:


512KB:


8MB:



Nun weiter mit IOmeter 2008.06.22 (64bit-Version!):

64K streaming read, 1 outstanding IO:


64K streaming read, 2 outstanding IOs:


64K streaming read, 3 outstanding IOs:


64K streaming read, 8 outstanding IOs:


64K streaming read, 256 outstanding IOs:



---


RAID-0 mit allen 6 Festplatten. StorSave: Performance.

Man beachte vor allem die niedrigen Zugriffszeiten bei HD-Tune:


IOmeter
64K streaming read, 8 outstanding IOs:


64K streaming read, 256 outstanding IOs:


---

Nun ein paar negativ-Beispiele für Benchmarks, die sich nicht anpassen lassen oder schnell Unfug anzeigen:

Atto im RAID-0, wenn ein Häkchen fehlt:

Bis zu 900MB/s sind bei dieser Konfiguration absoluter Quatsch.
Ebenso sind Schreibraten von 28MB/s bis 9MB auch zu niedrig.

HD-Tach mit 5 Festplatten im RAID-0:


IOmeter 2003.02.08 mit negativen Zugriffszeiten:

Dann antworte ich mir mal selbst:

Dank 7oby wurde ich auf eine neue, noch nicht finale, Version von IOmeter aufmerksam:
IOmeter 2008-06-22.
Diese Version behebt alle Probleme und wurde von mir unter Windows Server 2008 Enterprise Edition 64bit und unter Windows XP SP3 32bit getestet.
Die Ergebnisse sind nachvollziehbar. Die Transferraten liegen im erwarteten Bereich und schwanken nur so, wie es normal ist.
Die Zugriffszeiten liegen bei "üblichen" Szenarien vielleicht etwas niedrig, was aber mit dem gewählten Benchmarkszenario zu tun hat.
Unter einem 64-bit OS kann IOmeter dann auch wieder direkt auf die leeren Partitionen zugreifen und seine Tests ausführen, was unter 32bit XP nicht mehr möglich ist. Da muß man erst eine Partition anlegen. Dies beeinflußte die Testergebnisse nicht weiter spürbar und kann vernachlässigt werden.
Also: IOmeter ist und bleibt die erste Wahl für RAID-Setups!

---

Desweiteren kann man auch HD-Tune Pro 3.5.0 so einstellen, daß sich sinnvolle Ergebnisse finden lassen.
In den Optionen muß man dafür einfach nur die Block Size auf höhere Werte einstellen.
Ansonsten werden nur einzelne 64K-Anfragen losgelassen, die bei einer Stripe-Size von 64k auch eigentlich nur eine Festplatte effektiv testen. Die Messwerte stimmen dann auch auffallen gut mit denen von IOmeter für diesen Fall überein.

Stellt man nun aber 512kB oder gar 8MB für die zu testende Blocksize ein, so ergeben sich automatisch Anfragen, die über mehrere Festplatten verteilt werden müssen. Man bedenke: Jeweils nach 64kB wird die nächste Festplatte angesprochen.
Zudem scheinen die Tests der Zugriffszeiten von HD-Tune Pro halbwegs anständige Ergebnisse zu liefern.

Wem IOmeter also zu kompliziert ist, und wer nur eine "Hausnummer" erhalten möchte, der kann beruhigt zu HD-Tune Pro greifen.
Dank "15-Tägiger TRAIL" periode, ist der Test eindeutig empfehlenswert. (Wer testet schon länger als 15 Tage?)

Beim RAID-0 ist allerdings aufgefallen, daß HD-Tune dank seiner konservativen Art zu testen ehr für kleinere RAIDs bzw einzelne Festplatten geeignet ist. Während IOmeter auf Transferraten von über 500MB/s kommen kann, da die Skalierung des Tests besser ist, scheint HD-Tune in die Begrenzung seiner einzelnen Anfragen zu rennen und liefert nur Werte um 400MB/s, die auffälligerweise keine Ausreißer mehr nach oben zeigen, sondern nur ein paar Ausreißer nach unten (Bei kleineren RAID-Setups schwankt es in beide Richtungen ungefähr gleichmäßig).