Review: Asus P9D WS / Das Testsystem für ca.1000€

Anforderung
Es sollte eine Intelplattform Quadcore mit 32GB RAM ECC, PCIe Splitter, Workstation/Server Hardware, Hardwarebeschleunigung für VT-x & VT-d

Zielsetzung
Virtualisierungsplattform mit guter * PCIe Anbindung und Hardwarepassthrough
* PCIe x16 von der CPU soll gesplittet werden und nicht nur vom Chipsatz kommen

Teileliste
Asus P9D WS – ca. 220€
– Workstation Mainboard
– ECC Support
– Intel C226 Chipsatz
– Splittet den PCIe 3.0 x16 von der CPU nach Bedarf auf x16 oder x8/x8 oder x8/x4/x4
– Chipsatz liefert 6xSATA3/PCIe 2.0 x4/PCIe 2.0 x1/2x PCI/2x Intel I210 LAN onBoard
Kingston KVR16E11K4/32 32GB DDR3 ECC 1600MHz CL11 – ca. 235€
– 32GB ECC RAM der auf der HCL von Kingston steht
Intel Xeon E3-1231v3 4×3,4GHz – ca. 280€
– lieber nicht, besser E3-1245v3, weil dieser eine onBoard GPU hat
IBM M1015 – 120€
– IT-Mode für ZFS
Nvidia FX 5800 PCI – 20€
– weil CPU ohne onBoard GPU
bequiet! Pore Power L7-530W – ca. 60€
Fractal Design ARC MIDI R2 – 80€

Anwendungsfall
Bei mir läuft ESXi 5.5 drauf, dabei wird der IBM M1015 direkt an die FreeNAS VM durchgereicht und bekommt so die Festplatten mit 12GB RAM. Speedlimit liegt bei ca. 600MB/s, eben der Flaschenhals des Controllers mit SAS2/SATA3. Diese stellt einen FTP Server und ein iSCSI Target bereit. Dieses wird auf der ESXi als entsprechendes Blockdevice eingebunden.
Darauf kommt eine Windows VM die Grafikkarte (ATI HD 5770) durchgereicht und der Store liegt auf dem iSCSI Target.
Dazu kommt noch eine der Intel X520 10GBE für den guten Datendurchsatz, die auch iSCSI an einen weiteren Host weiterreichen kann.
Außerdem eine ATI HD 5770, die bald mal gegen was neueres gewechselt werden muss, zudem verdeckt zwar einen PCI Slot, aber egal.

Was kommen könnte
Neuere Grafikkarte, da die ATI HD 5770 etwas in die Jahre gekommen ist. Wichtig ist nur, dass die nur genau zwei Slots belegen darf, da sonst kein Platz mehr für die 10GBE Karte ist.
NVMe Flash Cache/Storage über den Chipsatz. Dazu noch ein neuer Storagecontroler, z.B. Broadcom 9300-8i um mehr Bandbreite zu dem Festplatten zu haben. Für einen 9300-16i müsste ein neues Case her oder ein 4i um mit vier SATA SSDs zu arbeiten.
Mehr USB/LAN kann übrigens auch nicht schaden.

Benchmark Ergebnisse

Typ Model CPU cb CPU cb Single MP Ratio Grafikkarte OpenGL FPS
Intel NUC5i5RYH Intel i5-5250U 2x@1,6GHz 259 108 2,39 Intel HD 6000 36,74
Intel i3-2100 2x@3,1GHz 267 105 2,55 ATI HD 6670 37,76
Lenovo W520 Intel i7-2720QM 4x@2,2GHz 427 102 4,21 Nvidia Quadro 1000M 28,91
Lenovo T440p Intel i7-4710MQ 4x@2,5GHz 522 137 3,79 Nvidia GeForce GT 730M 52,34
dieses System Intel E3-1231 v3 4x@3,4GHz 727 151 4,83 ATI HD 5770 77,81
HP Workstation Intel i7-4770 4x@3,4GHz 729 148 4,94 Nvidia Quadro K600 33,02

Fazit
Als VM Host für zuhause ist dieses System sehr gut geeignet, jedoch merke ich, dass mir die Anzahl der von der CPU kommenden PCIe Lanes nicht ausreichen wird. Daher denke ich aktuell über eine CPU mit 40 Lanes auf Basis des Sockel 2011-3 nach. Dabei sind zwar die Mainboards größer, jedoch wird mein Bedarf gewiss weiter steigen.

IPFire Raspberry Pi Benschmark

Ich wollte herausfinden, was für Hardware für einen 10MBit/s Internetuplink benötigt wird. Die Vorgabe war:
– Firewall Durchsatz ausreichend für die 10 MBit/s Leitung
– (Open-) VPN mit mindestens 1 MBit/s
– unter 100€
– muss auf die gleiche Höheneinheit passen, wie der Switch (dahinter)
Die erste Idee war, einfach einen alten Server zu nehmen, was aber durch die den Switch nicht möglich war. Also musste es kleiner werden. Nächste Idee war ein PC Engines APU.1D4 zu nehmen, ist aber zu teuer. Blieb nur ein Raspberry Pi 1 B zur Auswahl.
IPFire auf die SD-Karte, USB-LAN dran und losgetestet.
Das Ergebnis sah wie folgt aus:
– Firewall Durchsatz 27,8 MBit/s bei 10 Streams
– OpenVPN Durchsatz 2,9 MBit/s bei 1024 Bit Cert, SHA2 512 und 10 Streams
routing-durchsatz
openvpn-1k-key-sha2-512

IPFire OVPN N2N Knowledge

Kleinigkeit die ich beim Konfigurieren einer OpenVPN Verbindung mit IPFire herrausgefunden habe:

Problem:
OpenVPN – für Clients läuft auf 1234
OpenVPN – für N2N läuft auf 1234 und startet nicht

Lösung:
Anderen Port für jede N2N Verbindung nutzen.
Port muss über 1024 sein.

Astaro AP 50 GW fail

Ich hab da mal wieder ein Problem oder besser „Captain Obvious, why so silent?!?“
Ist das ein Bug, ein Sicherheitsfeatcher oder kann das weg?
So ähnlich hab ich mich beim Konfigurieren von mehereren AP50 gefühlt.
Erst hatte ich sie in einem Versuchsaufbau direkt an die neue ASG SG430 angeschlossen. Dort liefen diese auch Problemlos.

ap50
Doch als ich die Dinger in das aktive Netz gehangen habe, ging nichts mehr. Die APs fanden einfach die ASG nicht. Über fast zwei Wochen habe ich dann ausprobiert woran es liegen könnte, Proxy, DNS, DHCP, VLAN, Switche. Waren es aber alle nicht.

Fehler:
Astaro AP50 wird im Management nicht gefunden.

Lösung:
Astaro zum Standardgateway für die APs machen, sonst finden sie den Server nicht.

Warscheinlich steht das auf Seite 3 im Manuel, aber nobody RTFM anyway. Ich übrigens in dem Fall bis heute auch nicht.

PS: bei mir heißen die Sophos Geräte immernoch Astaro

Review: Intel NUC i5 als ESXi Server

Ich habe mir im August mal was zum „erstmal nur rumspielen, mal sehen ob das was ist“ gekauft.

Kurz zu den Technischen Daten & Ausstattung:

  • Intel NUC5i5RYH i5-5250U 2×1,6GHz (Turbo 2,7GHz + HT)
  • Crucial CT102464BF160B DDR3L 1600MHz 8GB (2x)
  • Transcend MTS400 M.2 SSD 32GB
  • Samsung MZ-7KE512BW 850 Pro 500GB

Erstmal die Packung auf und plündern:

nuc1

Dabei sind NUC, Netzteil, VESA Halterung & Schrauben.

Also alles Zusammengebaut und verschiedene Betriebssysteme getestet.

Windows 7
Installiert und funktioniert fast. Die Treiber müssen noch bei Intel herruntergeladen werden. Aber nach einer Stunde lief es ohne Probleme.
Dabei habe ich gleich mal einige Benchmarks gemacht, z.B. Cinebench R15

NUC5 i5-5250U@1,6GHz

Das Ergebniss ist echt gut, im Vergleich zu anderen (siehe Tabelle). Erstaunlich finde ich den sehr geringen Abstand zum i3-2100, zudem den Geschwindigkeitsvorteil gebenüber dem AMD.

Typ CPU CPU cb CPU cb Single MP Ratio Grafikkarte OpenGL fps
AMD E450
2x@1,65GHz
56 28 1,99 ATI Radeon HD
6320
1,62
AMD Phenom 9750
4x@2,4GHz
224 51 4,43 ATI Radeon HD
5770
42,98
Intel
NUC5i5RYH
Intel i5-5250U
2x@1,6GHz
259 108 2,39 Intel HD 6000 36,74
Intel i3-2100
2x@3,1GHz
267 105 2,55 ATI Radeon HD
6670
37,76
Dell R310 Intel Xeon x3430
4x@2,4GHz
283 74 3,85
Dell T610 Intel Xeon E5504
2x4x@2GHz
362 59 6,12

Zudem ist der Stromverbrauch relativ gering:

  • Idle                               ca. 7-8 Watt
  • Volllast CPU                 ca. 17 Watt
  • Volllast CPU + GPU     ca. 38 Watt

(Messung mit APC Back UPS Pro 900)

Windows 8.1
Ähnlich wie Windows 7, jedoch eher weniger aufwand für die Treiber.

Windows Server 2008 R2
Etwas mehr aufwand wie Windows 7, so in Richtung 1,5 Stunden.
Dannach funktioniertes ebenfalls sehr gut. Ich könnte mir das sogar als Einstiegsserver für eine kleine Firma vorstellen. Von der Lizenz her würde ich richtung Standard oder Enterprise gehen, da selbst mit 32GB RAM Datacenter zu überdimensioniert ist.
Als Anwendungszweck halte ich für Realistisch bei 16GB RAM:

  • Host OS mit Hyper-V & TS2 oder TS3 auf Groupware Server (2GB)
  • AD-Server (2GB)
  • Exchange Server (6GB – 8GB bei 32GB Aufbau)
  • Fileserver (ggf. Datastore auf NAS mit iSCSI) (2GB)
  • Groupware Server (Linux  & ownCloud & mySQL) (1GB)
  • VPN per IPFire (wenn nicht in Hardware und z.B. Fritzbox vorgeschaltet) (1GB)
  • Bei mehr als 16GB RAM anstatt Linux Groupware Server eventuell Sharepoint & MSSQL.

Zudem kann ich mir gut einen als nativen Terminalserver vorstellen.

Windows Server 2012 R2
Aufwand so wie Windows 7. Die richtige Lizenz hier ist Essentials für All-Inclusive Server & Standard für mit Admins. Hyper-V würde ich nur mit 2 VMs bei 16GB und 8 VMs bei 32GB. Wobei ich zu 2-3 VMs (sowohl 16GB als auch 32GB) (AD-Server + Terminalserver+ ggf. Win7 als VDI/RDP mit TS Crack greifen wurde (entsprechende Anzahl an Usern + 1 Lizenten vorrausgesetzt)
Ebenso wie bei 2008 R2 kann ich mir einen nativen Terminalservereinsatz sehr gut vorstellen. Wobei jeder Terminalserver ebenso als VM laufen könnte um dynamischer auf neue Anforderungen reagieren zu können.

XUbuntu 14.04 LTS
Läuft leider nicht ordentlich, da Grafiktreiber etc. erst in einem neueren Kernal vorhanden sind.

XUbuntu 14.04.3 LTS
Läuft sehr gut. Ein Einsatz als Homeserver, Mediacenter, Officekiste, halt als PC für den normalen Nerd. (Für DAUs reicht auch der i3)
Bischen Surfen, Mail, VNC, RDP, VLC, bei Bedarf auch Virtualisierung (gestestet VirtualBox) dafür eignet sich der NUC echt gut. Eben für die üblichen Adminarbeiten.

VMWare ESXi 5.5 mit Custom Treiber
So kommen wir nun zum Haupteinsatzzweck.
Zuerst musste ich mir ein eigenes Image bauen, wobei ich auf den ESXi-Customizer gesetzt habe. Weiterführende Artikel gibts HIER und HIER.
Also ISO gebrannt, USB Laufwerk angeschlossen, Installiert und Grundlegendes eingestellt. (ESXi Installation HIER)
Zur Aufteilung der SSDs:

  • 32GB SSD    – ESXi und ISO Dateien
  • 512GB SSD  – VM Store

Da ich noch einige VMs auf einem alten Stromvernichter hatte, welche ich eingendlich schon immer gern im Dauerbertieb haben wollte, habe ich diese Ex- & Importiert.
Somit laufen nun 8 VMs auf dem kleinen, wobei jede alle Kerne nutzen darf.

  • Windows 8.1 Office VM (4GB)
  • Windows 7 VM zum Testen und Zumüllen (4GB)
  • Windows XP VM (2GB) für alten Scheiß wie Geräte für die es keinen (höher XP / Linux)  Treiber mehr gibt
  • VM für eq3 Max & C&C für selbstgebastelte Hausautomation
  • Linux SSH Gateway
  • XUbuntu Download VM
  • je 1x Webserver und Test VM

Die durchschnittliche Auslastung liegt bei 600MHz und 15GB RAM. Dabei kommt er auf ca. 10 Watt Idle.

Fazit
Als Dauerläufer ist der Kleine echt gut geeignet, vor allem wegen dem geringen Stromverbrauch. Ich würde gerne noch mehr draufwerfen, jedoch ist es halt mit dem RAM knapp. Daher stellt sich irgendwann die Frage, 32GB RAM Kaufen (600€ intelligent memory RAM) oder lieben 2 weitere NUCs. Also einen zum herumspielen und einen als weiteren VM Host.
Wie man merkt bin ich extremer Heavy User, daher gehe ich jetzt auch noch auf den Normalnutzer ein.

Für Normalnutzer, die noch einen alten P4, Celeron oder Core2 Duo/Quad haben, lohnt sich der NUC auf jeden Fall. Wobei man abschätzen sollte, ob man die Zusatzpower vom i5 wirklich braucht. Für die meisten Nutzer wird der i3 ausreichend sein. Meine Empfehlung hierbei, wenn etwas Platz ist, lieber den mit 2,5 Zoll Schacht nehmen. Als Speicher mindestens 2x 4GB, sonst wird die Grafikkarte zu langsam. Als Datenspeicher eine M.2 SSD mit 250GB und eine 2,5 Zoll 1 TB WD Red Festplatte als Datengrab. Vor allem dann, wenn es im Haushalt keine NAS, jedoch aber mehrere Benutzer gibt. Der i7 ist meiner Empfindung nach den Aufpreis nicht wert.

Wer also einen kleinen, schnellen Rechenwürfel haben möchte, ist mit dem NUC gut beraten.
PS: Speedfreaks sollten auf schnelleren RAM und M.2 SSD setzen (je Kingston HyperX). Kostet zwar mehr, ist aber besser investiert, als in den i7.