Review: Asus P9D WS / Das Testsystem für ca.1000€

Anforderung
Es sollte eine Intelplattform Quadcore mit 32GB RAM ECC, PCIe Splitter, Workstation/Server Hardware, Hardwarebeschleunigung für VT-x & VT-d

Zielsetzung
Virtualisierungsplattform mit guter * PCIe Anbindung und Hardwarepassthrough
* PCIe x16 von der CPU soll gesplittet werden und nicht nur vom Chipsatz kommen

Teileliste
Asus P9D WS – ca. 220€
– Workstation Mainboard
– ECC Support
– Intel C226 Chipsatz
– Splittet den PCIe 3.0 x16 von der CPU nach Bedarf auf x16 oder x8/x8 oder x8/x4/x4
– Chipsatz liefert 6xSATA3/PCIe 2.0 x4/PCIe 2.0 x1/2x PCI/2x Intel I210 LAN onBoard
Kingston KVR16E11K4/32 32GB DDR3 ECC 1600MHz CL11 – ca. 235€
– 32GB ECC RAM der auf der HCL von Kingston steht
Intel Xeon E3-1231v3 4×3,4GHz – ca. 280€
– lieber nicht, besser E3-1245v3, weil dieser eine onBoard GPU hat
IBM M1015 – 120€
– IT-Mode für ZFS
Nvidia FX 5800 PCI – 20€
– weil CPU ohne onBoard GPU
bequiet! Pore Power L7-530W – ca. 60€
Fractal Design ARC MIDI R2 – 80€

Anwendungsfall
Bei mir läuft ESXi 5.5 drauf, dabei wird der IBM M1015 direkt an die FreeNAS VM durchgereicht und bekommt so die Festplatten mit 12GB RAM. Speedlimit liegt bei ca. 600MB/s, eben der Flaschenhals des Controllers mit SAS2/SATA3. Diese stellt einen FTP Server und ein iSCSI Target bereit. Dieses wird auf der ESXi als entsprechendes Blockdevice eingebunden.
Darauf kommt eine Windows VM die Grafikkarte (ATI HD 5770) durchgereicht und der Store liegt auf dem iSCSI Target.
Dazu kommt noch eine der Intel X520 10GBE für den guten Datendurchsatz, die auch iSCSI an einen weiteren Host weiterreichen kann.
Außerdem eine ATI HD 5770, die bald mal gegen was neueres gewechselt werden muss, zudem verdeckt zwar einen PCI Slot, aber egal.

Was kommen könnte
Neuere Grafikkarte, da die ATI HD 5770 etwas in die Jahre gekommen ist. Wichtig ist nur, dass die nur genau zwei Slots belegen darf, da sonst kein Platz mehr für die 10GBE Karte ist.
NVMe Flash Cache/Storage über den Chipsatz. Dazu noch ein neuer Storagecontroler, z.B. Broadcom 9300-8i um mehr Bandbreite zu dem Festplatten zu haben. Für einen 9300-16i müsste ein neues Case her oder ein 4i um mit vier SATA SSDs zu arbeiten.
Mehr USB/LAN kann übrigens auch nicht schaden.

Benchmark Ergebnisse

Typ Model CPU cb CPU cb Single MP Ratio Grafikkarte OpenGL FPS
Intel NUC5i5RYH Intel i5-5250U 2x@1,6GHz 259 108 2,39 Intel HD 6000 36,74
Intel i3-2100 2x@3,1GHz 267 105 2,55 ATI HD 6670 37,76
Lenovo W520 Intel i7-2720QM 4x@2,2GHz 427 102 4,21 Nvidia Quadro 1000M 28,91
Lenovo T440p Intel i7-4710MQ 4x@2,5GHz 522 137 3,79 Nvidia GeForce GT 730M 52,34
dieses System Intel E3-1231 v3 4x@3,4GHz 727 151 4,83 ATI HD 5770 77,81
HP Workstation Intel i7-4770 4x@3,4GHz 729 148 4,94 Nvidia Quadro K600 33,02

Fazit
Als VM Host für zuhause ist dieses System sehr gut geeignet, jedoch merke ich, dass mir die Anzahl der von der CPU kommenden PCIe Lanes nicht ausreichen wird. Daher denke ich aktuell über eine CPU mit 40 Lanes auf Basis des Sockel 2011-3 nach. Dabei sind zwar die Mainboards größer, jedoch wird mein Bedarf gewiss weiter steigen.

Monitoring as a Service

Es gibt diese Tage, an denen wird es der Serverhardware zu heiß. Vor allem dann, wenn die „eigendlich“ redundante Klimaanlage ausfällt. Ist ja nicht so schlimm, wenn die alte dahinten dauerhaft defekt ist. Jane is klar, Murphys Gesetz nimmt auch garantiert rücksicht deswegen.
Also es es kam wie es kommen musste, die zweite Klimaanlage fiehl auch aus. Ergebniss davon waren 38°C im Serverraum und eine abartige Lautstärke, natürlich Samstag abend. Dabei hat sich dann auch ein HP DL580G5 (2x6x2,4GHz, 96GB) ESXi Server endgültig verabschiedet, einer von zweien. Ausgerechnet auch noch so, dass das HA Setup nicht gegriffen hat. Dadurch hingen einige sehr viele VMs fest.
Im Nachgang wurde dann die Klimaanlage repariert und die andere erneuert.

Aber hätte es auch ohne den Vollständigen Shutdown des Krankenhauses gehen können?
JA, wenn die Temperaturen rechzeitig bemerkt worden wären. (Unter der Vorraussetzung eines Bereitschaftsdienstes)

Also, wie löst man ein Problem wenn man kein Geld zur Verfügung hat?
Eine Idee zur Lösung hab ich dann beim durchsehen der 31c3 bei Frank & Ron gesehen. Eine Webcam im Datacenter für RSA Token. Einfach aber genial.onetimepassword
Also habe ich das mal eben selbst umgesetzt:
Monitoring

Webcam auf einen Schrank um Serverraum, Thermometer davor – fertig. Zudem kann man immer sehen, ob die Klimaanlage noch läuft, wenn nicht wurde sich der Flügel zufahren.
Gratis dazu gibts gleichzeitig noch die Tür, dadurch sehe ich auf den Aufzeichnungen wer sich alles so dadrin rumtreibt. Von wegen Zugangskontrolle und so 😉