Intel X25-E auf Steroiden: 16 SSDs im Extrem-RAID

Vor einigen Monaten hat uns die Agentur A&R Edelman, welche Samsung in den USA vertritt, über ein YouTube-Video informiert, welches 24 Samsung PB22-J Flash SSDs unterhaltsam in einem RAID-System in Aktion setzt. Ziel der Aktion: Maximale Storage-Performance. Die Macher haben hervorragende Arbeit geleistet und mit einer Adaptec Series 5 RAID-Karte sowie einem Areca 1680ix-Controller auf einem Intel Dual CPU Skulltrail-System etwas mehr als 2 GB/s aus den Flash SSDs herausgeholt. Klar ist: das kann man noch besser machen.

Wozu so viel Storage-Performance?

Das gesamte Projekt macht Sinn, wenn Sie das ganze als Versuchsballon betrachten und als längerfristigen Ausblick darauf verstehen, welches Potential in zukünftigen SSD-Produkten stecken kann. Das Werbe-Video von Samsung verdeutlicht auf nette Weise, welchen Einfluss ein extrem schnelles SSD-Array haben kann: Anwendungen werden in einem Bruchteil der bisher erforderlichen Zeit geladen und sämtliche Storage-bezogene Performance-Flaschenhälse sind praktisch nicht mehr vorhanden. Allerdings ist weiterhin klar, dass die Verwendung von 24 oder 16 Laufwerken, wie wir das gemacht haben, für einen Desktop-Rechner unpraktisch ist.

Auswahl der Laufwerke

Bei Servern sieht das Umfelt anders aus, so dass Systeme mit einer Vielzahl an Laufwerken tatsächlich oft notwendig sind: Immerhin ist hier ein Maximum an I/O-Operationen pro Sekunde für unternehmenskritische Anwendungen unerlässlich. Wir haben uns entschieden, nicht nur eine große Anzahl an Flash-SSDs einzusetzen, sondern wollten zudem die beste Flash-SSD verwenden, um die Durchsatzwerte von Samsung zu übertreffen und zudem entsprechend hohe I/O-Performance zu bieten.

Unsere Wahl fiel auf das X25-E Flash-SSD von Intel, das auf dem teureren SLC Flash-Speicher (Single Level Cell) basiert. Anders als beim Multi Level Cell (MLC) Flash von Samsung bietet SLC kurze Latenzen auch beim Schreiben und hohen Durchsatz sowohl für Lese- als auch fur Schreibvorgänge. Ein Nachteil bleibt allerdings: Während die PB22-J von Samsung eine Kapazität von üppigen 256 GB bietet, ist für die professionellen X25-E Flash-SSDs von Intel derzeit bei 64 GB noch Schluss. Der Unterschied hinsichtlich der Kapazität spielt bei unserem Kampf um bessere Performance keine Rolle, da gerade einmal 16 Intel Flash-SSDs ausgereicht haben, um die 24 Laufwerke aus dem Samsung-Video zu schlagen.

Los geht‘s!

Intel fand schnell Gefallen an unserer geplanten Antwort an Samsung und stellte uns für diesen Artikel sechzehn X25-E Flash-Laufwerke mit 64 GB zur Verfügung. In der Zwischenzeit hatten wir bei Adaptec zwecks Bereitstellung von zwei 5805 PCI Express RAID-Karten angefragt, da wir uns für ein Nested RAID-0-Array bestehend aus zwei RAID 0 Hardware RAID-Arrays entschieden hatten. Die beiden Hardware-RAIDs auf Basis der Adaptec-Controller boten die Basis für ein Software-RAID unter Windows.

Erstelle einen neuen Thread im Artikel-Forum über dieses Thema
Dieser Thread ist für Kommentare geschlossen
18 Kommentare
Im Forum kommentieren
    Dein Kommentar
  • jprinzler
    Ja so eines nehm ich auch !!! Die 2GB/s reichen auch knapp ;-)
    0
  • fbx
    gehts bei 24 SSDs vllt wieder bergab? oder gehts immer nur bergauf bis schluss ist?
    mfg
    0
  • mareike
    Woher kommen die Daten die auf den Softraid kopiert werden ? Aus dem Speicher ?
    0
  • budspencer
    1.) CPU übertakten besonders die Speicheranbindung.
    3,6GHz schafft wirklich jeder Corei7 mit guter Luftkühlung.

    2.) Mainboard mit mindestens 2* PCI-E 2.0 16x nehmen.
    Es gibt schon Boards mit 4*PCI-E 2.0 16x von Asus, dieses kostet knapp 400 Euro...sollte bei dem Preis für die 16 SSDs doch keine Rolle spielen.
    0
  • borizb
    Zitat:
    Glücklicherweise ist SATA/600 schon fertig und steht in den Startlöchern.

    DAS war für mich die große Überraschung des Artikels!
    0
  • curry
    also ich habe mir gerade mal am Ende des Videos alle Bilder mit den Umsetzungsdetails angesehen. Zwei Kontroller mit 10 und 8 SSDs und 6 aufs Mainboard...

    wäre doch für euch auch noch eine Idee, den vom Mainboard bereitgestellten Controller mit einzubeziehen und dann über alles ein Software-Raid, einfache Lösung mit wahrscheinlich großem Effekt. Es gibt ja welche mit bis zu 10 SATAII Anbindungen...

    Ansonsten wäre wohl eine potentere Lösung von CPU und Mainboard nicht schlecht. Oben wurde ja schon ein gutes von Asus gepostet. Die Wahl der Grafikkarte finde ich genial! MFG
    0
  • derGhostrider
    @Budspenver:
    Das Supermicro X8SAX hat zwei PCI-Expres 2.0 16x Slots, die mit 16-lanes angebunden sind.
    Kein ASUS-Board kann da irgendetwas besser. Ehr im Gegenteil. Vor allem, wenn Zusatzchips (z.B. von nVidia) verwendet werden, um die zusätzlichen 16x PCIe-Schnittstellen bereitzustellen.


    @THG:
    Wieso "VERMUTLICH" CPU-limitiert? IOmeter zeigt die CPU-Auslastung an.
    Wie war die Zahl der "outstanding IOs" konfiguriert? 256?

    Als Vergleich wäre es mal nett zu sehen, was das IOdrive DUO im Vergleich dazu schafft, bzw ein RAID-0 aus zweien mit jeweils 320GB.

    Die SSDs skalieren denkbar schlecht ("nur" ein Faktor von 3,x bei 16 SSDs).
    Sequentielle Transferraten bei 4MB Blöcken sind im Alltag herzlich egal - allerdings geht es im Test ja auch nur um große Zahlen, sonst um nichts.
    0
  • kermit_nc
    @thg:

    das limit scheint der chipsatz zu sein. bei ca. 18-20 gbit ist schluss.
    0
  • avaka
    Als Machbarkeitsstudie ganz OK aber das Kosten/Nutzen-Verhältnis ist gruselig.
    Mir als Laie kommt die Systemlösung aus 2 RAID-Controllern + Windows Softwareraid irgendwie gemurkst vor. Vor allem der Softwareteil wird wohl die schlimmste Bremse sein, müssen die Daten doch beinahe allesamt durch die CPU und den Speicher gequält werden. Gibt es nicht schon PCIe 2.0 Karten? Ich würde vermuten eine einzelne fette Controllerkarte inklusive einer dezenten Übertaktung der PCIe-Anbindung um 20-25MHz hätte das gleiche Ergebnis gebracht oder eher mehr. Als Systemlösung bestimmt nicht zu verwenden aber darum gehts hier in dem Fall ja auch nicht.
    1
  • a97584
    interessant wäre doch wieviele SSDs den Adaptec-Controller ausgelastet hätten - wenn ihr schon schreibt dass er mit 8 wohl überlastet war.
    0
  • Kronos
    Also auf Seite 5 wurde der letzte Satz nicht mit übersetzt ;) nur so als Anmerkung

    @topic Nicht schlecht als Machbarkeitsstudie! Also wenn ich mir ne einzelne SSD von Intel anschaue und sehe, dass da aktuell nen 10 Kanal Controller verbaut wurde, dann ist auch SATAIII bald am Limit. Denn der nächste Controller braucht ja bloß 20 Kanäle zuhaben oder SSD-intern zweit der "alten" Controller via Raid zu verbinden. Sind die SSD Controller nicht sowas wie ne Art Raid Controller?

    Naja egal Test war ganz gut und hat sich angenehm gelesen.

    Greetz Kronos

    Edit: Hui was lese ich da auf ne Konkurenzseite . . . Intel Postville: MLC, 34nm, 80 GB für wohl bald unter 200 Euro (aktuell 207) nur zum Controller konnte da aktuell noch nix gesagt werden. :D
    0
  • sfnr1
    Was sindn DAS bitte für Satakabeln? http://www.tomshardware.com/de/fotostrecken/Intel-X25-E-64GB-all-drives-connected,0101-216556-0----jpg-.html . Sieht sehr selbstgeschnitzt aus :-).
    0
  • Anonymous
    Nice test!

    For another similar setup, using two Areca 1680 RAID controllers combined via a software RAID and using up to 16 Mtron 7500 SSDs, see these two articles:

    http://jdevelopment.nl/hardware/one-dvd-per-second/ and http://jdevelopment.nl/hardware/100k-iops-semicommodity-hardware/

    In these articles its explained that bottlenecks can come from many places: putting the RAID controller in the wrong PCIe bus, using the wrong filesystem (mostly a concern for operating systems where you can/have to choose a filesystem) and of course the alignment. I seems that you most likely are hitting some barrier too.

    Another interesting option is to repeat the same test you guys did, but use -4- RAID controllers, with 4 SSDs per controller.
    0
  • Anonymous
    Man sollte auf einem Mainboard Steckplätze für SSDs konzepieren. Wie RAM, einfach in Reihe draufstecken und Kabelweg sparen. Vllt sogar mehr Datendurchsatz duch breites Stecksystem. Lieber jetzt als nie...
    0
  • derGhostrider
    @Enter:
    SSDs DIREKT auf das Mainboard??? Das ist aber keine gute Idee!
    Einerseits sind sogar die SATA Schnittstellen flotter als die SSDs, andererseits ist durch ein flexibles Kabel die Wahrscheinlichlichkeit für eine Beschädigung des Mainboards deutlich geringer.
    Außerdem würde das viel Platz verbrauchen und Platz ist auf Mainoards eigentlich so gut wie nie übrig.

    Außerdem gibt es das doch schon längst und nennt sich PCI-Express.
    Siehe dafür auch: http://www.fusionio.com/Products.aspx
    0
  • elektrip
    Bei der Adaptec 5er Serie ist bei ca. 1GB/s schluss...hab auch andere Tests mit SSD an diesem HBA gelesen. Mit dem onboard ICH10R kommt man auch schon ziemlich weit.

    Lassen sich die Adaptec nicht zusammenspannen so dass 2 arrays als 1 logisches array dem OS präsentiert werden? Die Lösung mit dem Software Raid unter Windows scheint mir nicht optimal....Oder war das nur mit den 3ware oder Broadcom möglich?

    Eine weitere möglichkeit zum testen die mich interessieren würde wäre mit 2 oder 4 Adaptec HBAs vs 6-8 onboard ICH10R channels mit Ciprico VST zum RAID array...dann sind zwar nur noch Sata Kanäle da ohne RAID und das VST ist ein Software RAID....was geht da mit einem i7 OCd?
    0
  • elektrip
    Bemängeln möchte ich allerdings das man nicht nachgegangen ist wo wirklich der Flaschenhals ist. Es bleibt einfach offen, ob CPU (wäre ja einfach zu messen) oder HBA, PCIe...wird nicht ermittelt. Schwach...
    0
  • WildFire
    Jep, die "einfachste" Lösung scheint mir weniger SSD's pro Karte und dabei mehr Karten zu benutzen...wie sich der onBoard Controller schlägt kann man ausprobieren und kostet ja nix :D....
    Wenn der nichts taugt kann man immernoch ne 3te oder gar eine 4te Karte anklemmen, da ist es dann auch egal ob der PCIe Slot "nur" 2GB's schafft, da man dass ja nicht mit 4 SSD's voll bekommt...
    und dann eins nach dem anderen ausmerzen...QPI anbindung etwas anheben und schauen obs was bringt... und noch n bisschen OC kann ja nicht schaden ;)
    dass ein i7 normerlweise weit über 3Ghz geht sollte jedem klar sein ;)
    Man könnte auch mal ein serverboard schnorren und vllt AMD 2 6Core Istanbul aus den Rippen leiern, dann sollte man auch genug kerne haben, da dann etwas den Takt vom Speicherkontroller rauf und dann sollte man die Werte wohl noch weiter steigern können...
    Dass man sich nicht auf die Sucher vom Flaschenhalz gemacht hat find ich auch nicht ok aber dann haben die User mal was zum grübeln...
    0