Anmelden mit
Registrieren | Anmelden

16 SSDs im RAID: 3,4 GB/s mit PCIe 2.0 möglich

16 SSDs im RAID: 3,4 GB/s mit PCIe 2.0 möglich
Von , Achim Roos

Unser ursprüngliches Extrem-RAID mit 16 Intel X25-E SSD-Laufwerken erreichte 2,3 GB/s – doch wir wollten mehr. Intel und LSI stellten uns die aktuellsten HBAs zur Verfügung, mit denen wir einen Durchsatz jenseits der 3 GB/s erzielen konnten.

Ende Juli wurden wir durch ein YouTube-Video zu unserem Artikel  Intel X25-E auf Steroiden: 16 SSDs im Extrem-RAIDinspiriert. Bei diesem Video handelt es sich um ein anschauliches Projekt, das von Paul Curry geleitet wurde und bei welchem 24 Samsung SSDs im RAID einen Gesamtdurchsatz von 2 GB/s übertreffen. Wir haben mit nur 16 Intel-SSDs diese Bandbreite übertreffen können. Mr. Curry hat diese Aufgabe aus demselben Grund in Angriff genommen wie wir: Es geht darum, anhand hochwertiger Hardware zu veranschaulichen,  welches Potenziel Flash SSDs haben und in Zukunft hoffentlich entfalten werden.

Obwohl wir uns glücklich schätzen können, dass unser SSD RAID-Array eine etwas bessere Performance geboten hat (16x Intel X25-E SSDs gegen 24x Samsung PB22-J), waren wir damit nicht wirklich zufrieden und haben uns für weitere Testdurchläufe auf anderen HBAs und RAID-Controllern entschieden. Intel und LSI haben uns hierbei mit den neuesten MegaRAID 9210-8i- und 9260-8i-Karten unterstützt. Ersterer wird auch als Intel RS2BL080 vertrieben. Los geht’s!

Auf der Suche nach mehr Bandbreite

Die von uns erreichten 2,3 GB/s klingen schon beeindruckend. Allerdings verdeutlichen einfache Berechnungen, dass dieser Wert sogar noch höher sein könnte: 16 Intel X25-E Flash SSD-Laufwerke bieten einen Durchsatz von jeweils 220 MB/s. Theoretisch sollte demnach also ein maximaler Durchsatz von etwa 3,5 GB/s möglich sein; das sind in etwa 60% mehr als wir bislang erreicht haben.

Plattform? Stimmig.

Unsere Plattform, ein Supermicro X8SAX X58-Motherboard und ein 2,66 GHz Core i7-920 Quad-Core-Prozessor mit 3 GB DDR3-1333-Speicher ist sicherlich schnell genug, um höheren Durchsatz zu unterstützen, da wir lediglich die zwei x16 PCI Express 2.0-Steckplätze für die Controller in Anspruch nehmen. 16 Lanes zu 250 MB/s, jeweils verfügbar im Upstream und Downstream, bieten bereits 4 GB/s in beide Richtungen auf PCI Express erster Generation. Auf der X58-Plattform mit PCIe 2.0 verdoppelt sich dieser Wert auf 8 GB/s. Also können wir davon ausgehen, dass die Plattform nicht der Flaschenhals war.

Controller? Ausgetauscht!

Zuerst hatten wir 5808-Karten von Adaptec benutzt, die als High-Performance RAID-HBAs gelten und eine äußerst ausgewogene Performance sowie eine entsprechende Funktionsvielfalt für die Verwaltung Ihrer RAID-Speicher bieten. Zunächst haben wir die Bandbreite getestet, da die Karten sich via x8 PCI Express 1.1 mit dem System verbinden. Zwei dieser Karten mit acht Mal 250 MB/s erreichen 2 GB/s pro Karte und damit ingesamt 4 GB/s. Das hätte als Bandbreite eigentlich reichen sollen, war aber leider nicht der Fall.

Also haben wir uns für die neuesten HBA- und RAID-Produkte von LSI entschieden. LSI hat uns dafür seine aktuellste MegaRAID 9260-8i-Karten zur Verfügung gestellt, bei denen es sich bereits um SAS/600-Boards handelt. Zusätzlich dazu war man bei Intel den möglichen Performance-Zuwächsen sehr angetan und hat uns zwei weitere Karten vom Typ LSI 9210-8i (auch zu haben als Intel RS2BL080) zur Verfügung gestellt. Diese sind im Handel noch nicht erhältlich und verfügen zudem weder über eine leistungsstarke XOR-Einheit noch über Cache oder . Beide Karten zählen zu den ersten HBAs, die PCI Express 2.0 verwenden, was die Bandbreite auf weiterhin acht PCIe-Lanes effektiv verdoppelt und so die X58-Plattform ausreizen können. Nach alldem waren wir uns absolut sicher, unsere ersten Performance-Werte überbieten zu können – und das ist uns gelungen.

Wir haben die beliebten RAID 5805-Karten der Serie 5 von Adaptec durch zwei funkelnagelneue LSI-Controller ersetzt.Wir haben die beliebten RAID 5805-Karten der Serie 5 von Adaptec durch zwei funkelnagelneue LSI-Controller ersetzt.

Experten im Forum befragen

Zu diesem Thema einen neuen Thread im Forum Artikel erstellen.

Beispiel: Notebook, Festplatte, Speicher

Alle 14 Kommentare anzeigen.
Auf dieser Seiten können keine Kommentare mehr abgegeben werden
Sortieren nach: Neueste zuerst | Älteste zuerst
  • matzilein , 26. August 2009 17:26
    tolle sache...wenn der ganze spaß jetzt noch finazierbar wäre...oder sieht Toms Hardware eine möglichkeit mir diese zusammenstellung zukommen zu lassen?!?!?

    porto kann ich ja übernehmen :D 

  • Siegeszug 2000 , 26. August 2009 17:58
    geht bestimmt gleich wieder los, wieso keine AMD Hardware verwendet wurde und das es ja wieder Werbung für Intel sei.
    Wers nicht versteht: ;-)
  • ka0t , 26. August 2009 18:50
    Ich weiss was ich mit einem Lottogewinn als allererstes kaufen würde :-D
  • derGhostrider , 26. August 2009 19:25
    @ka0t:
    Doch wohl kaum DIESE Zusammenstellung! Dann solltest Du Dir vielleicht lieber auch mal die FusionIO IO-Drive2 Teile anschauen. Pro Steckkarte 1,5GB/s und noch höhere IO-Raten. Ohne RAID-0.

    Es ist nur schade an diesen Tests, daß sie nichts über die tatsächliche Leistungsfähigkeit im Betrieb aussagen, da RAID-0 einfach uninteressant ist. RAID-10, RAID-5 und RAID-6 sind die primären Einsatzgebiete dieser Karten und deren Leistung ist allein entscheidend.

    So ist auch eine Karte ohne Cache in einem DB-Server vermutlich eine unglaublich schlechte Wahl - vor allem, wenn keine SSDs sondern HDDs am anderen Ende hängen.
  • zeutan , 27. August 2009 08:21
    @derGhostrider:
    Der Test und seine Ergebnisse sind akademisch. Allerdings würde ich daraus schließen, dass 2 LSI 9210 mit RAID10 ungefähr annähernd die selbe Leseperformance bieten werden, und im Schreib-Betrieb würde ich mit rund der halben Performance des RAID0 rechnen. Aber der Bericht selbst wollte ja nur Rekorde brechen
  • derGhostrider , 27. August 2009 13:02
    @zeutan: Mir ist bewußt, was der Bericht wollte. Es ist nur prinzipiell schade, daß man mit diesen Zahlen nicht viel im Alltag anfangen kann.
    Es ist eine ganz nette Spielerei das mal so zu testen, das sehe ich ebenfalls so, aber für den Alltag leider nicht übertragbar.

    Und RAID-10-Leistung: Du weißt nicht in welcher form die Controller vom RAID-10 lesen. Da gibt es unterschiedlichste Ansätze und viele erreichen nicht die sequentielle Datenrate eines RAID-0 sondern verdoppeln grob die IO-Leistung, was in der Regel, also vor allem bei Festplatten, auch wichtiger ist.


    Mich wundert es z.B., wie darauf geschlossen wird, daß der 9260 "erwartungsgemäß" langsamer ist. Ein Cache ist nicht dazu gedacht um zu bremsen - ganz im Gegenteil. Der üblicherweise verwendete DDR2-RAM ist mehr als schnell genug, um selbst Zugriffe auf SSDs beschleunigen zu können, indem eben Daten direkt aus dem Cache anstelle von den SSDs verwendet werden. Bei sequentiellen Transfers ist der Cache dabei herzlich egal, aber soetwas erkennen die Controller üblicher Weise ebenfalls und umgehen diesen dann.
    Man sollte das vielleicht erstmal näher untersuchen oder gleich bei LSI fragen, ob das ein Firmware-Problem ist. Es könnte schlichtweg sein, daß der 9210 bereits Optimierungen für SSDs mitbringt, die der 9260 noch nicht hat.

    Lange Rede kurzer Sinn:
    Zuvor schrieb jemand, daß er sich diese Lösung sofort anschaffen würde, wenn er genügend Geld übrig hätte. Darauf bezug sich mein letzter Beitrag und dabei bleibe ich auch. Solch ein Test ist rein informativ. "Mal gucken, was geht" - aber kein Grund für eine Kaufentscheidung. Für enorme IO-Last sollte ein IO-Drive2 vermutlich besser ausgelegt sein und wäre dann bei vergleichbarem Preis die bessere Wahl.
  • kyuss1975 , 27. August 2009 14:07
    Zitat :
    geht bestimmt gleich wieder los, wieso keine AMD Hardware verwendet wurde und das es ja wieder Werbung für Intel sei.
    Wers nicht versteht: ;-)


    nein wieso? ich bin amd'ler aber ich reg mich nicht auf. amd stellt ja keine ssd's her.
    und sind die Intel ssd's gut dann würde ich sie bei entsprechendem preisleistungsverhältnis auch in meinen amd/ati pc bauen. :) 

    dann könnt ich sagen in meiner kiste läuft ein amd und ein Intel. :lol: 
  • Anonymous , 1. September 2009 17:15
    Mir fehlen da einige interessante Informationen.

    - was kostet der Spaß (RAID-Karten plus 16 Laufwerke)
    - Wie wirkt sich der Durchsatz in verschiedenen allgemeinen Benchmarks aus? WinRAR, Sysmark etc? Bootzeit von Windows Vista oder Windows 7?
    - Wie performt im Vergleich dazu eine einzelne aktuelle Standard-Platte? Die hätte ich zum Vergleich mitlaufen lassen.
  • florian-thw , 3. September 2009 09:42
    Bilder sagen doch mehr als Worte, bei solch einem Bericht wäre doch ein Video der kracher =) zb Installation von Vista 64Bit o.Ä.
  • derGhostrider , 3. September 2009 13:42
    @florian-thw:
    Super Idee. 5min einen Ladebalken als Video. *gähn*
  • Snoopy69 , 6. September 2009 17:07
    Die IO-Leistung bei Workstation ist recht bescheiden.
    Hier mein mein Setup. Und das war nur 1 Worker ;-)

    http://www.hardwareluxx.de/community/showpost.php?p=12782330&postcount=123
  • derGhostrider , 6. September 2009 20:35
    @Snoopy:
    Du hast keine SSD, Du hast "nur" eine RAM-Disk. Das ist etwas grundlegend anderes, auch wenn Deine Schüssel eine Pufferbatterie mitbringt.

    Außerdem: Wieviel nutzbaren Platz bietet Deine Lösung? Laut Hersteller maximal 32GB.

    Wenn Du die nun zweimal hast und voll ausgerüstet hast, dann ist das verdammt viel Geld für 64GB nutzbarem Speicherplatz. Bis auf wenige nutzbare Szenarien nicht gerade optimal.

    Da könnte es glatt günstiger UND schneller sein, wenn man ein Serverboard nimmt und das mit z.B. 96GB RAM ausrüstet und eine 64GB RAM-Disk einrichtet, deren Stand regelmäßig weggesichert wird.
    Mit einer USV hat man eine vergleichbare Ausfallsicherheit und nochmals wesentlich mehr Geschwindigkeit.

    Kurzum: Äpfel mit Birnen zu vergleichen bringt nichts. Eine SSD ist eine SSD, eine RAM-Disk ist eine RAM-Disk, eine HDD ist eine HDD.

    Wobei HDD und SSD vergleichbarer sind, als eine SSD und Deine RAM-Disk.

    Ein nettes Spielzeug, aber nur für temporäre Daten wirklich brauchbar.
  • Anonymous , 7. September 2009 01:36
    An alle Experten hier eine Frage: wenn ich für meinen Rechner 2 ssd Laufwerke als systemplatte einrichten will,.. Soll ich die direkt onboard als raid (0) anschließen oder besser eine pcie Karte kaufen? Und wenn ja, welche ?
    (bin gespannt ob nun eine Antwort kommt, oder bloß wenn's und aber's und blöde Sprüche)
  • Anonymous , 16. September 2009 15:55
    der LSI MegaRAID 9260-8i und der INTEL RS2BL080 sind baugleich, nicht der 9210-8i!!! Dieser ist der abgespeckte der außerdem noch nicht verfügbar ist.