Frage bzgl. Festplattenausfall im RAID

Beste Antwort ausgewählt durch Jimini.

Hm, klar, "brauchen" tu ich das RAID1 fürs System nicht bzw würde es auch gut laufen, wenn alles zusammen auf dem RAID6 läge. Ich bin nur ein Fan davon, Sachen ein bisschen zu trennen, software- als auch hardwareseitig. So wären eben die Daten, die auf keinen Fall verloren gehen dürfen, auf dem RAID6, das eigentliche System liegt woanders.
Lautstärke und Stromverbrauch sind da eher sekundär - ich achte da zwar drauf, aber so sehr fallen die paar Watt dann auch nicht ins Gewicht.

MfG Jimini

Hi,



Warum nicht gleich richtig? Imap-Server, dessen Daten auf dem NFS liegen. Das ist meine Loesung. Meine lokalen Clients laufen alle im imap-Mode OHNE lokale Kopie und ich habe ueberall die gleiche Sicht. Wenn ich wollte, ginge das auch per SSH-Tunnel von aussen, aber dieses System ist eher das Backup des richtigen, da habe ich naemlich genau das (IMAP-System) auf einem vserver, an den ich immer und ueberall rankomme.



Das landet doch eh erstmal im Cache und ausserdem sind die Fehler deutlich kleiner als die Stripe-Einheit. Schau dir mal an, wie ein RAID 6 schreibt, wenn kleine Datenmengen anliegen. Dann wird naemlich genau ein Stripe (oder ein Teil davon) auf EINE Platte geschrieben und zusaetzlich die Paritaet aktualisiert (dazu werden die alten Werte gelesen und die Aenderungen berechnet). Damit sind beim RAID6 3 Platten (Datenplatte + die beiden Parityplatten des entsprechenden Chunks) im Eingriff und die anderen drei werden nicht angefasst. Demgegenueber sind es zwei bei einem Spiegelsatz... daraus wuerde ich nicht unbedingt die Motivation ziehen, gleich 2 Platten mehr Strom verballern zu lassen.

Ich denke nach wie vor, dass du die beiden Systemplatten NICHT brauchst. Sie bringen keine nennenswerten Vorteile, machen aber Krach und verbrauchen Strom.

Viele Gruesse,

Jan

Ich habe mich etwas blöd ausgedrückt - die hatte nicht wegen der Geschwindigkeit vor, die VMs auf das RAID1 zu legen, sondern damit nicht 6 Platten beansprucht werden, wenn Apache irgendwo einen Fehler loggt  



Das klingt in der Tat sehr machbar. Ich muss allerdings mal schauen, ob sich der Aufwand (letztendlich muss es ja doch zumindest mal eingerichtet werden) lohnt, mehr dazu siehe unten.



Momentan mache ich es so, dass meine Firefox- und Thunderbird-Profile auf dem alten Fileserver liegen und von dort aus via NFS gemountet werden. Innerhalb meines Netzwerks habe ich also immer den selben Datenbestand. Blöd ists nur, wenn ich außerhalb bin und dann keinen Zugriff darauf habe. Oder hier zuhause nicht auf von woanders abgeschickte Mails zugreifen kann. Daher dachte ich über eine IMAP-Lösung nach, die das Ganze ziemlich vereinfachen würde. Was ich dafür genau nehme, weiß ich noch nicht - in einer der letzten c't-Ausgaben wurde so etwas vorgestellt, da muss ich mich mal einlesen. Das Einrichten ist eigentlich auch nicht das Problem, nur die Planung, die dem Ganzen vorangeht.
Meine Mails und Profildaten wollte ich dann viertelstündlich per rsync auf das RAID6 backuppen.



Ich muss mir mal durch den Kopf gehen lassen, ob mir eine "statische" Konfiguration der VM-Images nicht reicht. Dafür spricht, dass ich seit Jahren weiß, welche Dienste ich laufen habe - wenn eine kleine Sache dazukommt, ist das nicht so schlimm. Zudem wollte ich die NFS-Freigaben von der Anzahl her möglichst klein halten, damit es überschaubar bleibt. Mal schauen - aber ein großes Dankeschön für die Anregungen und Erklärungen schonmal!



MfG Jimini

Das klingt interessant, kannst du das etwas erläutern? Bisher habe ich mich vor LVM gedrückt, weil es mir ziemlich friemelig vorkam. Die VMs sollen wie folgt aussehen:
- VM #1: Apache, UnrealIRCD, Mumble, Jabber, FTP - also quasi alles, was nach "draußen" geht.
- VM #2: Apache, UnrealIRCD (ist momentan aber noch unsicher, ob die VM wirklich gebraucht wird)
- VM #3: Mailserver-Gedöns

Ich plane für die 1. und 2. VM je 20 und für den virtuellen Mailserver 50G. Die Shares vom Apache sowie die über den FTP-Server freigegebenen Ordner werde ich höchstwahrscheinlich über per NFS eingebundene Ordner aus dem großen RAID realisieren - das einzige, was dann auf den Kisten wächst, sollten Logfiles sein.
Der Mailserver ist bisher nur eine Idee, da das wohl eine ziemlich Konfigurationsorgie werden wird - hier wollte ich 50G einplanen, die für die nächsten 5-8 Jahre reichen sollten - mein Mailbestand, der bis 2003 zurückreicht, ist momentan gerade einmal bei 5 oder 6G.

Meine Motivation ist, Daten, die sehr regelmäßig geschrieben / gelesen werden, auf das RAID1 zu packen - daher liegen hier die VMs. Das RAID6 wird nur Daten halten, auf welche ich zwar regelmäßig, aber seltener zugreife (regelmäßige (interne) Backups, Musik und sowas). Ich muss mir allerdings nochmal anschauen, ob es Sinn macht, bei 6 Festplatten eine Standby-Zeit festzulegen - und wenn ja, wie ich die setze. Ich will schließlich nicht, dass die Platten alle 80 Sekunden neu hochdrehen müssen.

MfG Jimini

Hi,



Sehe ich komplett anders. Eine Plattensammlung ist Gefrickel mit lauter kleinen Brocken und erfordert im Crashfall aufwendiges Basteln. Ein grosses Array hingegen ist EIN Geraet und man kann damit viel einfacher umgehen. Bedenke: Es geht hier um ein Linux-SW-RAID. Da gibt es keine RAID-Problematik, das funktioniert einfach, wenn die HW okay ist.



Wieviele SW-RAID hast du denn schon unter Linux betrieben? Die CPU-Belastung bei einem Vollastlesen von meinem RAID5 ist im top kaum zu sehen, mehr noch, die Xeon-Kerne takten dafuer nichtmal hoch, sondern machen das mit enorm geringer Last bei 1200 MHz. Die Zeit, dass sowas eine moderne CPU nennenswert belastet haette, sind LANGE vorbei.



Mach da einen Kabelbindern so rum, dass der Stecker nicht rausfallen kann, dann passt das schon. Ansonsten siehe oben... ich bin mir ziemlicher sicher, dass da nichts schlimmes passiert.



Tip: Mach das auf Basis eines LVM (egal, auf welche Platten du es legst) mit KVM als Virtualisierungsloesung (das sollte deine CPU koennen). Ist unglaublich stabil und im Zusammenwirken mit LVM einfach genial, weil du die Vorteile des direkten Partitionszugriffes mit der dynamischen Erweiterbarkeit kombinieren kannst, ohne rumbasteln zu muessen. Bei mir laeuft so mein Router (das ist eine VM, mehr nicht :-)), mein Mailserver und ab und zu ein Windows 2008 Server, auf das wir dann per rdesktop zugreifen. Selbst Windows kann man so mit Bordmitteln erweitern... in LVM das Volume vergroessern, ein paarmal im Windows-Plattenmanager rumklicken und schon hat die VM eine groessere Platte.



Genau das tut ein RAID, und zwar vollautomatisch. Lass dich nicht von dem schlechten Ruf, den irgendwelche gammligen Mainboardraidtreiber auf noch gammligeren Boards haben, verwirren. Unter Linux ist ein RAID eine stabile und absolut sinnvolle Alternative zu jeder Sammlung von Einzelplatten. Und es laeuft absolut problemlos - ich nutze das seit 1998 auf den verschiedensten Systemen und habe damit sogar das DTLA/IC35-Dilemma ueberstanden (die Dinger sind reihenweise verreckt... ich hab nur gewechselt, rebuild gesagt und weiter ging es - ohne weiteren Aufwand).

@Jimini: Falls du es nicht ohnehin vorhast... ich wuerde auf eine Intel e1000 setzen als Netzwerkkarte und irgendwelches Realtek-Onboard-Zeugs ignorieren.



Geht praktisch ebenso. Aktuell bin ich von meiner oben geschriebenen Variante (OS auf RAIDs am Anfang der grossen Platten) uebrigens etwas abgekommen, denn momentan liegen /, /var und /usr auf einer SSD, werden aber taeglich automatisch auf die entsprechenden RAIDs gesynct, von denen ich beim Ausfall der SSD auch booten koennte. Das ist in meinem Fall aber auch sinnvoll, weil es eine Kombination aus Workstation und Server ist und kein reiner Server.

Viele Gruesse,

Jan

Die Performance ist zweit- oder drittrangig. Mir kommt es eher auf die Verfügbarkeit an - klar, im privaten Bereich ists keine Katastrophe, wenn ein Server mal 12 Stunden aus ist, aber ich binde von dem Teil nicht nur Dokumente und MP3s, sondern auch Browserprofile und Mails ein, daher will ich, dass das Ding läuft.
Der Athlon II X2 240e sollte mit dem Berechnen der Paritäten wohl kaum Probleme haben, und das wird (abgesehen vom Installieren von Software) wohl die Haupttätigkeit der CPU sein. Das System läuft headless, für ein GUI geht also auch keine Leistung drauf.

Die Konfiguration und des Aufbau des Arrays stehen schon fest, da gibts nichts mehr dran zu rütteln  
Ich habe mich bewusst für ein RAID6 entschieden, da ich wie gesagt die Verfügbarkeit des Systems so hoch wie möglich halten will. Das eigentliche Betriebssystem wollte ich anfangs nur auf eine einzelne Platte packen, habe mir dann aber gedacht "wenn ich schon die Daten im RAID6 haben will, dann kommt das System auf ein RAID1". So muss ich im Fehlerfall "nur" die betroffene Platte tauschen und das Array rebuilden lassen - zumindest theoretisch  

MfG Jimini

Wenn es Sachen gibt, die ganz besonders performant sein müssen, kannst Du einen RAID0 aus den Caviar Blues machen. Eine Datensicherung hast Du ja.

Ich denke nur, dass ein RAID unnötig ist. Eher die Platten einzeln nutzen - auch zur Datensicherung. Das bringt Dir mehr Sicherheit als ein RAID.

Eine Datensicherung musst Du so oder so machen - hier hättest Du dann auch bereits die Festplatten dafür. Außerdem braucht das weniger CPU-Leistung. Im Weiteren werden nicht ständig alle Platten gleichzeitig angesprochen. Das reduziert Lautstärke, Stromverbrauch und Verschleiß. Und Du hast keine RAID-Problematik.

Ich würde dann am Anfang der Platten jeweils eine kleine schnelle Partition anlegen. Eine für das BS, jeweils eine für die VMs und die anderen für andere schnelle Sachen, z.B. Swap. Wenn die VMs auf unterschiedlichen Festplatten liegen, bringt Dir das in der Performance etwas - besser, als wenn eine Platte (oder ein Spiegel) quasi drei Computer bedienen muss. Auch die Verteilung der Daten auf unterschiedliche Platten bringt Performance - ohne übermäßige CPU-Auslastung und Verlust bei den Zugriffszeiten.

Das Ding ist folgendes: ich habe mich in ein Gehäuse verliebt  
Die Lösung mit den 2 Trays à 3 Festplatten finde ich klasse, nur wird jedes Tray über einen einzigen Molex-Stecker mit Strom versorgt. Wenn also so ein Stecker aus irgendeinem Grund abrutscht oder "kaputtgeht", wäre die Hälfte der Platten im RAID6 weg.
ECC-RAM werde ich verbauen, ja.

Das System (also / und /boot) wollte ich von Anfang an auslagern, da es so zum Einen wesentlich weniger RAID-Gefrickel ist, zum Anderen ists beim Konfigurieren eine mögliche Fehlerquelle weniger.
Zudem werden auf der Kiste mindestens 2 VMs laufen, welche ebenfalls auf den Systemplatten liegen werden. Diese VMs sind der Hauptgrund, wieso ist auch das Betriebssystem redundant lagern möchte.
Das Ganze mag jetzt "etwas" überdimensioniert erscheinen, andere kaufen sich halt für 400 € einen Auspuff, ich gebe das lieber für Festplatten aus  

MfG Jimini

Hi nochmal,



*grins* Na dann... kannst du die Systemplatten erst recht weglassen, das ist kein Windows!

Ich betreibe aehnliches, nur in paralleler Nutzung als Dualseat-Workstation (2 Grafikkarten, 2 Arbeitsplaetze) mit RAID5 statt RAID6 und RAID1 auf den gleichen Platten fuer das System, seit vielen Jahren (etwa alle 5 Jahre neuer Rechner, alle 4 Jahre neue Platten) im Dauerbetrieb unter Linux (aktuell mit ECC Speicher und regelmaessigen Backups). Platten sind schon einige verreckt, Daten nie, Probleme mit dem RAID gab es auch keine ernsthaften (das eine, das durch eine Inkompatibilitaet zwischen einer neuen SATA2 Platte und einem alten nforce4-Controller entstanden ist, liess sich mit mdadm problemlos loesen).

Viele Gruesse,

Jan

Hi,

meine obigen Ueberlegungen gelten natuerlich nur fuer einen exakt gleichzeitigen Ausfall, sprich, z.B. das Stromkabel, das die drei Platten parallel versorgt, abziehen, so dass sie schlagartig gleichzeitig verschwinden. Nacheinander abziehen ist deutlich schlimmer... aber ich vermute, dass man mit entsprechend Wissen und mdadm das ganze hinterher wieder zusammengebaut bekommt.

Ansonsten ein netter Aufbau... ich hoffe, du hast ECC RAM in der Kiste?

Ich wuerde mir uebrigens die Systemplatten sparen, denn wenn der Kasten rein als Fileserver laeuft, dann greift er da nur beim Booten und eventuellen Updates drauf zu und fasst sie im normalen Betrieb nicht an. Ich baue sowas (vor allem, wenn ich den Strom bezahle) so, dass ich von jeder der Platten die vorderen Partitionen fuer ein RAID1 fuer das OS nehme und den Rest fuer das RAID5 oder RAID6 fuer die Daten. Performancetechnisch hat das keinen Einfluss und fuer die Verfuegbarkeit ist das auch okay, denn man kann das RAID1 ja ueber beliebig viele Platten legen - das OS braucht ja kaum mehr als ein paar GB.



Vernuenftig aufgebaut, kann so ein System unter Linux mehrere hundert Leute bedienen, wenn die Netzanbindung stimmt und genug ECC-RAM drinsteckt.

Viele Gruesse,

Jan

@ JanR: danke für den Hinweis bzgl. "sync"! So wie ich das sehe, wird es wohl oder übel ohnehin auf einen Test hinauslaufen. Ich werde ext4 verwenden. Zusätzlich könnte ich mal messen, wie sich 'data=journal' auswirkt. Die Performance ist zweitrangig.

@ 1Hz: der Server wird ausschließlich privat genutzt - 2-5 Leute.

MfG Jimini

Wieviele Leute sollen denn auf den Fileserver zugreifen?

Gerne:

System:
Mainboard:
Asus M4A78LT-M LE
Festplatten:
3 Samsung Ecogreen F4 & 3 Western Digital Caviar Green WD20EARS (RAID6, Daten)
2 Western Digital Caviar Blue WD3200AAJS (RAID1, System)

Die beiden Systemplatten hängen an einem SATA-Controller (Delock 89143), die 6 Datenplatten am Mainboard. Als OS kommt Linux zum Einsatz. Sinn und Zweck dieser Komponenten ist ein Fileserver. Eine USV werde ich verwenden.

MfG Jimini

Hi,

deinem "/home" entnehme ich, dass es um Linux geht, richtig?

Da hast du ja zwei Optionen... ein HW-Raid mit irgendeinem Controller oder eben das SW-Raid von Linux. Bei ersterem kommt es auf den Controller an, bei letzterem VERMUTE ich, dass nichts schlimmes passieren wird. Der schlagartige Ausfall von drei Platten exakt auf einmal wird das RAID augenblicklich abtoeten, sprich, du kannst auf /dev/mdX nicht mehr zugreifen. Automatisch wird es sich nicht reparieren, es wird vielmehr beim naechsten Boot ueber Inkonsistenzen meckern und du kannst es per mdadm manuell wieder zusammensetzen. Prinzipiell ist das Linux SW-Raid sehr robust... ich habe da vor einer Weile mal diverse Schweinereien in einer virtuellen Maschine ausgetestet.



Das willst du nicht. Das wird ENORM langsam und zudem vollkommen sinnfrei, denn der Stripe, bei dem der Ausfall geschieht, ist in jedem Fall im Eimer und ein paar Daten verliert man dabei in jedem Fall. Sinnvoll waere es vielleicht, "data=ordered" zu benutzen - ich setze mal stillschweigend voraus, dass du ein journaling Dateisystem (ext3, ext4, ...) verwendest, das bei solchen Unfaellen gut fuer die Konsistenz ist.

Fuer deinen Test... kipp vorher ein paar GB Zufallsdaten drauf (cat /dev/random > file) und speicher dir die md5sums davon, um hinterher zu gucken, dass die Daten noch okay sind.

Ansonsten: Dass ein RAID kein Backup ersetzt, ist dir klar? Also zusaetzlich auch Backupstrategien ueberlegen, umsetzen und testen.

Viele Gruesse,

Jan

Vielleicht beschreibst Du mal Deine Konfig sowie das Anwendungsszenario, also worum es geht.

Über eine BBU habe ich auch mal kurz nachgedacht, allerdings spricht dagegen, dass ich nur 2 Festplatten an einem SATA-Controller im RAID1 laufen lassen werde, auf denen das System liegt, die Daten auf /home liegen auf 6 Festplatten im Software-RAID6, sind also ans Mainboard angeschlossen. Eine BBU wäre daher nur bei den beiden Systemplatten drin, die sind für mich aber vergleichsweise unwichtig.

Ich werde alle Partitionen mit der Option "sync" mounten, Änderungen werden damit Direkt ins Dateisystem geschrieben und nicht im Cache gehalten.

Ich werde das sonst einfach mal testen, wenn die Platten da sind - Strom abziehen und schauen, ob die Daten danach noch da sind. Natürlich, bevor ich meine Daten auf den Rechner geschoben habe  

MfG Jimini

Ein RAID 6 kann den Ausfall von 2 Festplatten verkraften. Fällt die Dritte aus, sind die Daten futsch, da kann nicht mehr wiederhergestellt werden. Insofern aber bei einem reinen Stromverlust eventuell die Daten gar nicht beschädigt wurden, würde der RAID wieder laufen, sobald Strom zur Verfügung steht.

Die da lassen sich dazu aus http://www.hardwareluxx.de/community/f15/raid-controlle...