Renderfarm zusammenstellen

Das hört sich aber sehr speziell an - und recht dürftige Informationen.

Die Software scheint ja mehrere Rechner quasi als Cluster zusammenzufassen. Theoretisch müsste das auch mit einzelnen Rechnern gehen - wobei man dann z.B. kleine Rechner bauen könnte, die mit einem Core i7-2600K übertaktet laufen. Damit hättest Du sehr viel Leistung bei guter Energiebilanz. Allerdings bliebe noch fraglich, ob die Software HT unterstützt, wenn nicht, dann gleiches Spiel mit eine i5-2500K.

http://www.tomshardware.com/reviews/sandy-bridge-overcl... (kann sein, dass die Seite gerade offline ist oder falsch geroutet wird - ggf. später noch mal versuchen).

Was mir an der Geschichte komisch vorkommt, ist fehlendes ECC. Ich denke, das gerade bei Clusterbildung die Wahrscheinichkeit für Fehlberechnungen steigt. Hier könnte es sinnvoll sein, entweder auf 1156 oder auf 1366 zu gehen - oder auch auf 1155er Xeons warten. Alternativ Systeme mit 2 oder 4 CPUs aufbauen. Das wird mit Intel aber extrem teuer. AMD (Opteron) könnte da eine Alternative sein.

Also zum Beisiel ein Tyan S8812 mit vier AMD Opteron 6128 wären 1.700 € zzgl. dem Systemrest. Das wären dann 32 Kerne mit je 2GHz (64GHz). Oder mit AMD Opteron 6168 käme man auf 48 Kerne mit jeweils 1,9GHz (91,2 GHz) für 3350 € (Board und CPUs).

Vielleicht schreibst Du mal mehr zu den Anforderungen und postest das Angebot.

Das müsste aber eher ein Thema für ladykiller sein.

Hi,
...dürftige Infos..
...ich eröffne einen Post nie mit Mördertext - ich will den Thread ja nicht schon am Anfang töten.

Ok - danke jedenfalls erst mal für die Rückmeldung.

ok -
C4d kann HT und es gibt eine unlimited Renderlizenz.
Der Renderserver verteilt die Renderjobs an alle Clients und jeder rechnet für sich seine einzelnen zugeteilten Frames. Daher sollte es keine ECC-Probleme geben denke ich.

Deine Hardwareimpulse lass ich mal sacken. Das Angebot würde ich ungerne posten - aber wenn noch Fragen sind, kein Problem.

Die 5 reinen Recheneinheiten sind:

- 19" Servergehäuse, 2 HE, anthrazit
- ATX-Netzteil,400W Seasonic OEM 80 Plus
- Intel Desktop Board DH67BL Media Series - Motherboard
Mikro-ATX - iH67 - LGA1155 Socket - SATA-300 (RAID),
-SATA-600 (RAID), eSATA - Gigabit Ethernet - SuperSpeed USB -
Video - HD Audio (10-Kanal)
- INTEL Core I5-2500 3300MHz 6MB Cache 5
- QuadCore LGA1155 Desktop CPU boxed
- KINGSTON 4GB DDR3 1333MHz nonECC CL9
- FP WD 500GB 3,5" 16MB SATA
- DVD+-R/RW/RAM/DL LG S-ATA ret.
- MS Windows 7 Professional 64Bit DVD OEM (DE)

Mark

Also einfach mal auf der Basis eines einzelnen Rechners, von denen man dann 5 Stück nimmt. Oder eigentlich weniger, da deutlich leistungsstärker sowohl durch HT als auch durch Übertaktung. Vergleichbar sollten von der Leistung her 3 Rechner sein, bei 4 Rechnern hättest Du auf jeden Fall bereits mehr Leistung. Außer 8 gelassen habe ich Lautstärke - der PC ließe sich aber leicht dahingehend optimieren, wenn gewünscht. Insofern aber Lautstäke wie angenommen keine Rolle spielt, würde es auch Sinn machen, die Lüfter voll drehen zu lassen - gute Kühlung kann nur vorteilhaft sein.

Sharkoon Rebel9 Economy 39 €
Das Gehäuse ist schön offen und unterstützt damit eine gute Belüftung.
Noiseblocker Multiframe M12-S3HS 17 €
Man kann auch was billiges nehmen - allerdings dache ich, dass Zuverlässigkeit hier nicht schaden würde.
ASUS P8P67-M 105 € oder ASUS Sabertooth P67 175 €
Das Sabertooth hat eine besonders stabile Stromversorgung und 5 Jahre Garantie.
Intel Core i7-2600K 290 €
Thermalright Silver Arrow 60 €
ADATA Value DIMM Kit 8GB 65 €
PowerColor Radeon HD 5450 Go! Green 29 €
Western Digital RE4 250GB 53 €
Habe hier eine ausgewählt, die auf Dauerbetrieb ausgelegt ist. Wenn Du die konkreten Anforderungen (Haltbarkeit, Volumen, Performance) nennst, geht das natürlich zielgenauer.
LG GH22NS50 15 €
Enermax ErPro80+ 350W 54 €
Microsoft Windows 7 Professional 64Bit 110 €

Das wären 900 € mal 4 = 3600 € für mehr Leistung. Welche Anforderungen hat denn der Server?

ganz ehrlich, willst du wirklich 4 Gehäuse einzelnt rumstehen haben?
Oder doch lieber nur einen Rackserver mit Erweiterungsmöglichkeit?
Weil bei deinem Speziellen Fall würde ich genau das angebot annehmen, es ist gut und passend und 7000€ ist ok.
Weil Rack Gehäuse mit Einheiten etc bei dem anderen pc kommst du auf das gleiche.

Die Raidedition bei Festplatten empfiehlt sich doch nur, wenn die Platte auch wirklich an einem Raidcontroller hängt, der dann die Fehlerkorrektur übernimmt, oder?

Die Festplatten lohnen sich auch wenn es um Dauerbetrieb geht.

19" ist schon sehr teuer. Der Preisunterschied scheint auch in diesem Fall erheblich. Ein geeignetes günstiges Regal, Computer rein, fertig. Spätestens wenn es ums übertakten geht, wird 19" schwierig - was bei Sandy aber Sinn macht. Sollte man es leise bekommen wollen, wäre 19" auch wieder eher schwierig.

Ansonsten klar, ist der Platz begrenzt, das Budget aber nicht, macht 19" Sinn. In einer kaufmännischen Betrachtung, wenn man also konkret Mietplatz berechnet (vor allem bei noch (viel) mehr Rechnern) auch. Sonst gäbe es das ja nicht. Wenn hier aber sowieso freier Platz dafür verwendet werden kann - so viel mehr Platzbedarf bei einem vernünftigem Regal wäre es eher nicht.

Hi,

ECC hat erstmal nichts mit der Tatsache zu tun, Dinge zu clustern. Die Frage muss vielmehr lauten: Ist es okay, wenn unter Umstaenden mal ein kleiner Pixelfehler reinkommt oder ein Renderlauf auf einem der Knoten abstuerzt? Lautet die Antwort ja, so brauchst du kein ECC und auch Uebertaktung ist moeglich. Lautet die Antwort nein, so entfaellt die Uebertaktung und ECC ist zwingend noetig.



Was hat das Gehaeuse mit dem Uebertakten zu tun? Vernuenftige 19" Gehaeuse haben meist eine sehr gute Luftfuehrung von vorne nach hinten und koennen, da Lautstaerke meist egal ist, auch grosse Mengen Luft durchblasen. Wenn man eine normale 2 HE 19 Zoll Kiste kauft, kann man da irgendein Mainboard einbauen, die einzige Beschraenkung ist die Hoehe des CPU-Kuehlers. Nimmt man 3 HE, ist das Problem auch geloest. Ich wuerde mir auf keinen Fall einen Stapel Rechner antun, wenn es auch ein elegantes 19" Rack tut (die Schraenke bekommt man in der Bucht oft sehr guenstig aus Firmenaufloesungen).

Was ich machen wuerde: Rendern in einer Farm skaliert zu nahezu 100%, da recht grobgranulare Auftraege verteilt werden und man kaum Kommunikationsoverhead hat. Von daher wuerde ich zuerst mal Benchmarks suchen, die mit genau deinem Programm auf verschiedenen Rechnern gemacht wurden und vergleichbar sind. Danach kannst du dann verschiedene Konfigurationen nach Renderleistung/Euro Rechnerpreis bewerten und danach dann entscheiden, wie gross du das Cluster baust. Diese Rechnung kann man dann noch mit und ohne Uebertaktung machen und mit und ohne Beruecksichtigung der Stromkosten. Fuer die Leistung ist es naemlich egal, ob du vier teure schnelle Rechner hast oder sechs billige langsamere.

Ich habe das jetzt nicht gerechnet und bin zu faul, nach Benchmarks zu suchen, aber ich glaube, du wirst bei sehr billigen AMD-Boards (muessen ja nichts koennen) mit einem der billigeren Phenom X4 landen, falls du den Stromverbrauch nicht mit einplanst und eventuell tatsaechlich bei Sandy, wenn du mit Stromverbrauch rechnest (da dann die jaehrliche Laufzeit beachten usw) - nur bekommst du momentan keine Sandy-Boards.

Viele Gruesse,

Jan

Mehrere langsamere Rechner dürften kaum billiger werden, da ja jedesmal Gehäuse, Kühlung, Festplatten, etc mit gekauft werden müssen ...

Sandy-Boards bekommt man schon - kann man dann auch später umtauschen - wobei das hier noch nicht mal nötig wäre, da sowieso nur zwei SATA-Ports benötigt werden - dass können dann ja die beiden SATA III sein.

Hi,



Genau darum soll er es ja ausrechnen. Du hast aber recht, dass diese Grundkosten die Rechnung stark in Richtung leistungsfaehiger Systeme verschieben werden.



Warum eigentlich 2? Oben in der Config steht eine Platte drin... und das DVD-Laufwerk etc ist fuer so einen Rechner unsinnige Geldverschwendung, Energieverschwendung und Materialverschwendung. Zum Installieren reicht EIN externes Laufwerk fuer das ganze Cluster, danach braucht man das nie wieder, eher im Gegenteil: Bei 24/7 und Nichtbenutzung wird es nicht lange leben, weil da einiges an Staub durchgeht (Erfahrung von unseren 24/7-Systemen auf Arbeit... die Dinger werden fast nie verwendet und wenn man sie mal braucht, gehen sie nicht mehr).

Btw... wenn ICH sowas billig bauen muesste fuer mich selbst (NICHT fuer professionellen Einsatz!), wuerde ich folgendes machen: Einen grossen Rahmen bauen, in den man Mainboards nackt wie Schubladen mit so 8-10 cm Abstand uebereinander einschieben kann. Passive 19"-Kuehlkoerper auf die CPUs (die sind dafuer ausgelegt, mit hoher Geschwindigkeit von der Seite durchstroemt zu werden) und auf diese Weise dann so 6-8 Boards uebereinander. Seitlich eine Batterie grosser Luefter lueckenlos an den Rahmen, auf der anderen Seite die Platten hochkant ranbauen. Die ATX-Leitungen werden mit ausgeschlachteten Verlaengerungen auf selbstgebaute Stromschienen gelegt, die man dann mit einem oder zwei grossen Gaming-Netzteilen speist - ein 850 W-Netzteil kann locker 4 Renderknoten speisen. Das ganze dann mit geeigneten Teilen (Plexiglas, Alublech, was auch immer) von aussen verkleiden und gut ist.

In aehnlicher Form habe ich uebrigens aus zwei Pentium 3 Bladeboards ein Minitestcluster gebaut, das an einem alten ATX-Netzteil haengt - Rechenleistung, die mit beiden Boards zusammen deutlich unter dem liegt, was mein X3470 bei Minimaltakt (1200 MHz) bringt :-)

Viele Gruesse,

Jan

Ich hatte so etwas für eine Firma mal anders gemacht - ging da aber auch von den zeitlichen Abläufen perfekt. Da haben einfach alle Firmenrechner nachts und an den Wochenenden die rechenintensiven Operationen durchgeführt. Wahrscheinlich habe ich deshalb nicht daran gedacht, dass hier ein optisches Laufwerk für alle Rechner reicht. Gut aufgepasst!

Jedenfalls hatte sich das da auch mit den 19" völlig erledigt. Außer Strom und Verschleiß keine Kosten. Gute Auslastung der vorhandenen Recourcen, wie ich meine. Vielleicht geht das ja auch hier?

Als ganz ketzerische Idee, könnte man auch 6 kleine Würfelrechner mit Mini-ITX-Boards zusammenstellen. zwei Würfel hoch und 3 Würfel breit sollte gehen.

Ansonsten würde ich ernsthaft überlegen ob man nicht neue Q67-Boards mit ECC-Speicher und den kommenden, ECC-tauglichen LGA1155-Xeons mit Grafikkern nimmt. Vorteile: ECC-Fehlerkorrektur und Protokollierung, Prima Fernwartung mit grafischer Windows-Oberfläche dank iAMT3, intel Business-Support.

Der Q07 war das erste, woran ich gedacht hatte - hab's aber wegen OC aufgegeben ...

http://www.caseking.de/shop/catalog/popup_image.php?pID...

Im PC-V534 mit Prolimatech Armageddon würde es gehen - schien mir aber zu teuer und ist nicht mehr klein genug.

Ob es dann von den XEONs ne K-Variante gibt, wage ich eher zu bezweifeln. Dann würde aber, sollte man sich dennoch für XEON entscheiden und sofern Q67 als mini-ITX käme, der Q07 wieder im Rennen sein. Wär echt mal ne lustige Rechner-Farm.

Hallo in die Runde,



Wozu soll das gut sein? Siehe mein letztes Posting. Wenn Xeons mit ECC, dann natuerlich ohne Uebertaktung! ECC ist nur sinnvoll, wenn die Berechnungen mit sehr hoher Wahrscheinlichkeit fehlerfrei sein MUESSEN und dann ist es natuerlich widersinnig, an Uebertaktung auch nur zu denken. Ganz davon abgesehen... schonmal ein Server-Board in der Hand gehabt? Die OC-Moeglichkeiten beschraenken sich auf... aeh... genau Null. Ich glaube auch nicht, dass man an dem Multiplikator der E3-Xeons in irgendeiner Weise rumfummeln kann (ausser nach unten... das geht zumindest bei meinem P7F-E fuer 34xx-Xeons), selbst die +400 MHz, die die i7-2xxx auf passenden Boards koennen, werden da nicht gehen, denn die Dinger sind NICHT dafuer gemacht!

Von daher: Xeon + ECC ODER Uebertaktung + Standard-RAM. Das ODER ist dabei ein "entweder oder"...



Treibt potentiell aber auch die Kosten hoch... da wuerde ich eher aus den ITX-Boards ein Do-it-yourself-Bladecenter zusammenbasteln (siehe letztes Posting). Das aber auch nur, wenn keine 100%ige Verfuegbarkeit gefragt ist. Nur mal als Anregung:

http://www.mini-itx.com/projects/cluster/

Steinalt und aus lahmen VIA EPIA gebaut, aber wenn man das mit SB-ITX Boards macht und zur Kuehlung seitlich eine Batterie Luefter an den Stapel montiert, dann ginge das schon. Gewaltiger Vorteil ist, dass man statt vieler kleinerer Netzteile ein oder zwei grosse mit sehr hoher Last nehmen kann -> bessere Effizienz. Da ein Netzteilausfall dann mehrere Geraete lahmlegt, sollte das Ersatznetzteil schon im Regal liegen.

Viele Gruesse,

Jan

Hi,
erst mal herzlichen Dank für die Diskussion bezüglich meines Renderfarm-Themas. Klasse´.

All die Infos und Impulse muss ich erst mal durchdenken und auf meine spezifischen Anforderungen abstimmen.

Aus dem Bauch raus´ sind da einige interessante Ideen dabei. Knackig und fast etwas anarchisch finde ich die Lösung mit der Platte und dem "draufschrauben" der Rechnereinheiten. Warum sollte das nicht für professionellen Einsatz funktionieren?

Wenn ich mich durchgetastet habe (ich bin kein Hardwarespezialist) und mit einem Hardwarefreund diskutiert habe, melde ich mich als bald.

Besten Gruß
Mark

Die Würfelstapellösung ist nicht soo teuer, die Silverstone Würfel mit Netzteil sind z.B. recht bezahlbar. unter den 7000€ dürfte man mit 6 Würfeln bleiben.

Eine noch Ketzerische Idee wäre eine Garnison von günstigen Micro-Towern. Z.B. mit 'nem halben dutzend Zignum Sphere Gehäusen. Die kann man hochkant mit ca. 3-4cm Abstand zu einander auf ein Regalbrett oder Tisch stellen. Da ist im Preis von 60€ ein erstaunlich ordentliches 250W-TFX-Netzteil mit drin {c't hat's für gut und sehr leise getestet}. Das ist zwar eigentlich nicht für 24/7-Einsatz gedacht, aber wenn es nicht hält, kommen halt nach und nach hochwertigere be quiet 300W-TFX-Netzteile rein {eins kann man sich dafür schonmal auf Reserve legen}. Ein Vorteil ist schonmal die Wartung, denn du kannst aus der Garnison Micro-Tower einfach eins zur Wartung mit einer Hand wegnehmen, kurz Netzwerk und Strom anziehen, und zum Wartungstisch tragen. Dann zum Beispiel ruckzuck Gehäuse auf, Netzteil mit zwei Schrauben lösen, neues rein, schrauben wieder ran und Deckel zu, und ab damit ins Regal.

Vorteile: - Günstig
- Platzsparend
- schnell zu händeln
- man kann endlos viele davon nebeneinander stellen {=gute Scalierbarkeit}
- es passt ein intel Q67 Micro-ATX-Board mit Xeon + ECC-Speicher inkl. Fernwartungsfunktionen rein, und es bleibt auch noch genug Geld dafür übrig
- Sicher kann mal eins der Nicht-Profi-Netzteile ausfallen, aber jedes ist auch schnell zu wechseln.


Generell würde ich übrigens auch in jeden Rechner eine (kleine 60GB-)SSD verbauen, das erhöht CPU-Auslastung und Renderleistung.

...ich will keine "beste Antwort" küren. Das ist Nötigung. Alle Antworten sind irgendwie Mosaikteile zu meinem Gesamtkonzept und GUT. Komisches Konzept....außerdem bin ich noch nicht so weit. Mannomann....

Gruß Mark

...kurzer Zwischenstand.
Wir haben uns jetzt mal einen i5 2500k bestellt. Vielleicht wäre das ein geeigneter Chip. Und robben weiter vor...

Ansonsten küre ich jetzt mal eine "beste Antwort" obwohl ich das komisch finde...vielleicht habe ich dann ja Ruhe...

Beste Antwort ausgewählt durch mala.

Das ist wirklich die schlechteste Beste Antwort, die ich je gelesen habe.


Ich hoffe mal Du weißt, daß die verfügbaren Boards für den i5-2500K immernoch den Chipsatzfehler haben.
Zudem wäre der i7-2600K deutlich besser geeignet, wenn ihn das Budget zulässt, was ich allerdings glaube.

"Das ist wirklich die schlechteste Beste Antwort, die ich je gelesen habe."

...das ist meine kleine Revolution gegen die Auslese...

Wir haben die Renderfarm gestern geordert.
10 Recheneinheiten mit i7 2600k.
Unser Vergleich der i7 und i5er mit identischen anderen Komponentet waren ca. 40 % schneller mit dem i7.

Alle Komponenten sind "Basic" denn wir übertakten eher mal nicht.


Danke jedenfalls an Alle.

Gruß Mark

Dann hätten auch i7-2600 ohne K und ohne Übertaktungsfunktion gereicht.





Also negative natürliche Selektion quasi.

http://www.tomshardware.de/sandy-bridge-overclocking-ef...

Übertakten funktioniert aber nur problemlos, wenn man keinen H67-Chipsatz nimmt, sondern einen P67 ohne Grafik oder einen Z68 (ob es beim Q67 geht, ist mir nicht bekannt).