Dieses mal gibt es etwas aus dem Bereich (Achtung Buzzword Bingo Bullshit!!!) „high“ Performance Networking.
Ich hatte im Rahmen einer Teststellung die Gelegenheit zwei Mellanox ConnectX-4LX 40GbE (CX4131A bzw. MCX4131A-BCAT) mit einem 3m QSFP+ (MC2210128-003) testen zu können.
Sofort Karten auspacken, in meine Testmaschine werfen und nix geht. ESXi 5.5 zeigt mir zwar die Karte an, aber nicht als Netzwerkkarte. Zweites Image mit ESXi 6.0 gestarten und… das gleiche Bild.
Ok dann halt im Passthrough Modus. Dabei zeigen sich folgende Verhaltensweisen:
Windows Server 2008 R2
Ähm… nöööö, da ging garnichts, zumindestens nicht automatisch. Nachdem ich den Treiber gefunden hatte, ging es gut. Doch wozu brauch ich 40G unter Windows in einer VM? ATTO Benchmarks auf SAN abfeuern, welches bereits wegen des Dell H310/M1015 bereits bei 600MBit/s aufgibt. Nee danke.
VMWare ESXi
Da ich kein VCenter habe und keine Lust darauf habe ein custom Image nur für diesen Test zu bauen, kann ich außer der Einleitung nichts dazu sagen.
*Ubuntu 16.04.2/Debian 8
gestartet, erkannt und funktionierte
Daher habe ich auch die weiteren Tests mit 16.04.2 gemacht.
Treiber
Lagen nicht bei, hab ich nach etwas suchen dann doch direkt beim Hersteller gefunden:
Link zum Mellanox Treiber
Benchmarks
Die waren mit einigen Hindernissen verbunden. Zuerst hatte ich als B-Ende einen Core2Quad Q8200 genutzt.
Der kam mit etwas Optimierung nur auf 17,9 GBit/s, zudem waren alle vier Kerne auf anschlag 100%.
Als nächstes habe ich dann den i3-2100 zum Testen herangezogen, welcher auch direkt ein besseres Bild zeigte (19,4GBit/s):
Diesmal war es aber iperf3, welches sich als Flaschenhals zeigte. iperf brachte da ein doch besseres Ergebnis (25,5-26,0GBit/s):
Ich merke jedoch, dass solche Hardware eindeutig für PCI Express 3.0 ausgelegt ist und ich einfach an die Limits von PCIe 2.0/2.1 stoße. Bei 10GBE ist das nämlich kein Problem.
Fazit
Mit einem „Marktpreis“ von ca. 500€ – nur Karte – ohne Kabel oder QSFP+ Modul – könnte 40GBE jetzt auch bei einem breiteren Publikum ankommen. Mir zeigte es vor allem, dass nach Dualport 10GBE nur 40GBE bzw. dual 40GBE kommen kann, PCIe 3.0 oder besser vorrausgesetzt.
Im Zusammenhang mit einem Mellanox 40GBE 12 Port Switch (MSX1012B-2BFS) geht da bereits einiges, vor allem wenn man nur noch zwei Ports braucht, um einen Nutanix/Supermicro Server mit vier Nodes á zweimal 10GBE SFP+ mit einem Kabel anzuschließen. Zudem können zwei dieser Switches auf einer Höheneinheit montiert werden.
Bei sowas kann ich mir gut vorstellen diese beiden untereinander zu verbinden und mit dem Management Switch anzubinden, dass ganze dann per 40GBE Redundant auf LWL (SMF) in Richtung Core Switch zu schicken. (Außer man macht es so wie ich aktuell und geht mit zwei QSFP+ auf SFP+ auf RJ-45 um den Management Switch anzubinden 😛 )
Schöne neue Welt 😀
Archiv der Kategorie: IT
Review: Asus P9D WS / Das Testsystem für ca.1000€
Anforderung
Es sollte eine Intelplattform Quadcore mit 32GB RAM ECC, PCIe Splitter, Workstation/Server Hardware, Hardwarebeschleunigung für VT-x & VT-d
Zielsetzung
Virtualisierungsplattform mit guter * PCIe Anbindung und Hardwarepassthrough
* PCIe x16 von der CPU soll gesplittet werden und nicht nur vom Chipsatz kommen
Teileliste
Asus P9D WS – ca. 220€
– Workstation Mainboard
– ECC Support
– Intel C226 Chipsatz
– Splittet den PCIe 3.0 x16 von der CPU nach Bedarf auf x16 oder x8/x8 oder x8/x4/x4
– Chipsatz liefert 6xSATA3/PCIe 2.0 x4/PCIe 2.0 x1/2x PCI/2x Intel I210 LAN onBoard
Kingston KVR16E11K4/32 32GB DDR3 ECC 1600MHz CL11 – ca. 235€
– 32GB ECC RAM der auf der HCL von Kingston steht
Intel Xeon E3-1231v3 4×3,4GHz – ca. 280€
– lieber nicht, besser E3-1245v3, weil dieser eine onBoard GPU hat
IBM M1015 – 120€
– IT-Mode für ZFS
Nvidia FX 5800 PCI – 20€
– weil CPU ohne onBoard GPU
bequiet! Pore Power L7-530W – ca. 60€
Fractal Design ARC MIDI R2 – 80€
Anwendungsfall
Bei mir läuft ESXi 5.5 drauf, dabei wird der IBM M1015 direkt an die FreeNAS VM durchgereicht und bekommt so die Festplatten mit 12GB RAM. Speedlimit liegt bei ca. 600MB/s, eben der Flaschenhals des Controllers mit SAS2/SATA3. Diese stellt einen FTP Server und ein iSCSI Target bereit. Dieses wird auf der ESXi als entsprechendes Blockdevice eingebunden.
Darauf kommt eine Windows VM die Grafikkarte (ATI HD 5770) durchgereicht und der Store liegt auf dem iSCSI Target.
Dazu kommt noch eine der Intel X520 10GBE für den guten Datendurchsatz, die auch iSCSI an einen weiteren Host weiterreichen kann.
Außerdem eine ATI HD 5770, die bald mal gegen was neueres gewechselt werden muss, zudem verdeckt zwar einen PCI Slot, aber egal.
Was kommen könnte
Neuere Grafikkarte, da die ATI HD 5770 etwas in die Jahre gekommen ist. Wichtig ist nur, dass die nur genau zwei Slots belegen darf, da sonst kein Platz mehr für die 10GBE Karte ist.
NVMe Flash Cache/Storage über den Chipsatz. Dazu noch ein neuer Storagecontroler, z.B. Broadcom 9300-8i um mehr Bandbreite zu dem Festplatten zu haben. Für einen 9300-16i müsste ein neues Case her oder ein 4i um mit vier SATA SSDs zu arbeiten.
Mehr USB/LAN kann übrigens auch nicht schaden.
Benchmark Ergebnisse
| Typ | Model | CPU cb | CPU cb Single | MP Ratio | Grafikkarte | OpenGL FPS |
| Intel NUC5i5RYH | Intel i5-5250U 2x@1,6GHz | 259 | 108 | 2,39 | Intel HD 6000 | 36,74 |
| Intel i3-2100 2x@3,1GHz | 267 | 105 | 2,55 | ATI HD 6670 | 37,76 | |
| Lenovo W520 | Intel i7-2720QM 4x@2,2GHz | 427 | 102 | 4,21 | Nvidia Quadro 1000M | 28,91 |
| Lenovo T440p | Intel i7-4710MQ 4x@2,5GHz | 522 | 137 | 3,79 | Nvidia GeForce GT 730M | 52,34 |
| dieses System | Intel E3-1231 v3 4x@3,4GHz | 727 | 151 | 4,83 | ATI HD 5770 | 77,81 |
| HP Workstation | Intel i7-4770 4x@3,4GHz | 729 | 148 | 4,94 | Nvidia Quadro K600 | 33,02 |
Fazit
Als VM Host für zuhause ist dieses System sehr gut geeignet, jedoch merke ich, dass mir die Anzahl der von der CPU kommenden PCIe Lanes nicht ausreichen wird. Daher denke ich aktuell über eine CPU mit 40 Lanes auf Basis des Sockel 2011-3 nach. Dabei sind zwar die Mainboards größer, jedoch wird mein Bedarf gewiss weiter steigen.
IPFire Raspberry Pi Benschmark
Ich wollte herausfinden, was für Hardware für einen 10MBit/s Internetuplink benötigt wird. Die Vorgabe war:
– Firewall Durchsatz ausreichend für die 10 MBit/s Leitung
– (Open-) VPN mit mindestens 1 MBit/s
– unter 100€
– muss auf die gleiche Höheneinheit passen, wie der Switch (dahinter)
Die erste Idee war, einfach einen alten Server zu nehmen, was aber durch die den Switch nicht möglich war. Also musste es kleiner werden. Nächste Idee war ein PC Engines APU.1D4 zu nehmen, ist aber zu teuer. Blieb nur ein Raspberry Pi 1 B zur Auswahl.
IPFire auf die SD-Karte, USB-LAN dran und losgetestet.
Das Ergebnis sah wie folgt aus:
– Firewall Durchsatz 27,8 MBit/s bei 10 Streams
– OpenVPN Durchsatz 2,9 MBit/s bei 1024 Bit Cert, SHA2 512 und 10 Streams
IPFire OVPN N2N Knowledge
Kleinigkeit die ich beim Konfigurieren einer OpenVPN Verbindung mit IPFire herrausgefunden habe:
Problem:
OpenVPN – für Clients läuft auf 1234
OpenVPN – für N2N läuft auf 1234 und startet nicht
Lösung:
Anderen Port für jede N2N Verbindung nutzen.
Port muss über 1024 sein.
Astaro AP 50 GW fail
Ich hab da mal wieder ein Problem oder besser „Captain Obvious, why so silent?!?“
Ist das ein Bug, ein Sicherheitsfeatcher oder kann das weg?
So ähnlich hab ich mich beim Konfigurieren von mehereren AP50 gefühlt.
Erst hatte ich sie in einem Versuchsaufbau direkt an die neue ASG SG430 angeschlossen. Dort liefen diese auch Problemlos.
Doch als ich die Dinger in das aktive Netz gehangen habe, ging nichts mehr. Die APs fanden einfach die ASG nicht. Über fast zwei Wochen habe ich dann ausprobiert woran es liegen könnte, Proxy, DNS, DHCP, VLAN, Switche. Waren es aber alle nicht.
Fehler:
Astaro AP50 wird im Management nicht gefunden.
Lösung:
Astaro zum Standardgateway für die APs machen, sonst finden sie den Server nicht.
Warscheinlich steht das auf Seite 3 im Manuel, aber nobody RTFM anyway. Ich übrigens in dem Fall bis heute auch nicht.
PS: bei mir heißen die Sophos Geräte immernoch Astaro