EdgeRouter Testing VPN & OSPF

Vielleicht hat es der ein oder andere bereits mitbekommen, ich halte mich gern unnötig lange mit einzelnen Themen auf.
Ich hätte auch gleich anders lösen können, aber ich wollte das es so fuktioniert wie in den Tutorials beschrieben. (IPSec | OSPF)
Kurz um, es geht um UBNT EdgeRouter und VPN/IPSec + OSPF.
Ich wollte von meiner Firewall im Lab OSPF -> Onside ER -> IPSec -> Home ER -> Wifi ER, aber ich dass mich irgendeine Inompatibilität oder so gebissen hätte… nein, es war natürlich wieder IPSec – es ist schnell, aber ich hasse es bis es erstmal läuft.
Es ist auch erstmal alles nicht so schlimm, solange kein NAT/Port Forwarding und nur Public IP’s im Spiel sind.
Im großen und ganzen dachte ich mir so, „alles Anzünden & was mit Garten / Holzhütten machen“.
Symbolisch @DO9XE bei der Frage wie das denn mit dem WLAN auf der GPN18 war…
Da es absolut nich wollte, habe ich dann einen 1:1 Nachbau des Tutorial Setups bei mir auf dem Tisch hingestellt (von oben):
1. ER-R
2. ER-L
3. „Internetwolke“
4. Weiterer OSPF Router
5. Switch zum Lab

Config ER-R
VPN
configure
set vpn ipsec auto-firewall-nat-exclude enable
set vpn ipsec ike-group FOO0 lifetime 28800
set vpn ipsec ike-group FOO0 proposal 1 dh-group 14
set vpn ipsec ike-group FOO0 proposal 1 encryption aes128
set vpn ipsec ike-group FOO0 proposal 1 hash sha1
set vpn ipsec esp-group FOO0 lifetime 3600
set vpn ipsec esp-group FOO0 pfs enable
set vpn ipsec esp-group FOO0 proposal 1 encryption aes128
set vpn ipsec esp-group FOO0 proposal 1 hash sha1
set vpn ipsec site-to-site peer 203.0.113.1 authentication mode pre-shared-secret
set vpn ipsec site-to-site peer 203.0.113.1 authentication pre-shared-secret 1234
set vpn ipsec site-to-site peer 203.0.113.1 description ipsec
set vpn ipsec site-to-site peer 203.0.113.1 local-address 192.0.2.1
set vpn ipsec site-to-site peer 203.0.113.1 ike-group FOO0
set vpn ipsec site-to-site peer 203.0.113.1 vti bind vti0
set vpn ipsec site-to-site peer 203.0.113.1 vti esp-group FOO0
set interfaces vti vti0 address 10.255.12.2/30
set protocols static interface-route 192.168.1.0/24 next-hop-interface vti0
commit ; save

OSPF
configure
set interfaces vti vti0 ip ospf network point-to-point
set protocols ospf parameters router-id 172.16.1.1
set protocols ospf area 0.0.0.0 network 10.255.12.0/30
set protocols ospf area 0.0.0.0 network 172.16.1.0/24
commit ; save

Config ER-L
VPN
configure
set vpn ipsec auto-firewall-nat-exclude enable
set vpn ipsec ike-group FOO0 lifetime 28800
set vpn ipsec ike-group FOO0 proposal 1 dh-group 14
set vpn ipsec ike-group FOO0 proposal 1 encryption aes128
set vpn ipsec ike-group FOO0 proposal 1 hash sha1
set vpn ipsec esp-group FOO0 lifetime 3600
set vpn ipsec esp-group FOO0 pfs enable
set vpn ipsec esp-group FOO0 proposal 1 encryption aes128
set vpn ipsec esp-group FOO0 proposal 1 hash sha1
set vpn ipsec site-to-site peer 192.0.2.1 authentication mode pre-shared-secret
set vpn ipsec site-to-site peer 192.0.2.1 authentication pre-shared-secret 1234
set vpn ipsec site-to-site peer 192.0.2.1 description ipsec
set vpn ipsec site-to-site peer 192.0.2.1 local-address 203.0.113.1
set vpn ipsec site-to-site peer 192.0.2.1 ike-group FOO0
set vpn ipsec site-to-site peer 192.0.2.1 vti bind vti0
set vpn ipsec site-to-site peer 192.0.2.1 vti esp-group FOO0
set interfaces vti vti0 address 10.255.12.1/30
set protocols static interface-route 172.16.1.0/24 next-hop-interface vti0
commit ; save

OSPF
configure
set interfaces vti vti0 ip ospf network point-to-point
set protocols ospf parameters router-id 192.168.1.1
set protocols ospf area 0.0.0.0 network 10.255.12.0/30
set protocols ospf area 0.0.0.0 network 192.168.1.0/24
commit ; save

Config „Internetwolke“

Schlussendlich hat wer 1:1 Aufbau auch funktioniert und die Performance mit Offloading ware auch ok.

Aber trozudem ließ es sich nicht in Prodution so umsetzen, da warum auch immer, IPSec bei mir zuhause einfach nicht will.
Daher habe ich mir dann kurzerhand die Anleitung geschnappt und das einfach nochmal mit OpenVPN ausprobiert.
Ergebnis… geht, nicht schnell, aber geht und zwar Stabil und mit nur einem Public Port.
Falls jemand Ahnung hat, wie ich Tinc 1.1 auf den EdgeRouter bekomme, bitte gerne.

Review: Asus P9D WS / Das Testsystem für ca.1000€

Anforderung
Es sollte eine Intelplattform Quadcore mit 32GB RAM ECC, PCIe Splitter, Workstation/Server Hardware, Hardwarebeschleunigung für VT-x & VT-d

Zielsetzung
Virtualisierungsplattform mit guter * PCIe Anbindung und Hardwarepassthrough
* PCIe x16 von der CPU soll gesplittet werden und nicht nur vom Chipsatz kommen

Teileliste
Asus P9D WS – ca. 220€
– Workstation Mainboard
– ECC Support
– Intel C226 Chipsatz
– Splittet den PCIe 3.0 x16 von der CPU nach Bedarf auf x16 oder x8/x8 oder x8/x4/x4
– Chipsatz liefert 6xSATA3/PCIe 2.0 x4/PCIe 2.0 x1/2x PCI/2x Intel I210 LAN onBoard
Kingston KVR16E11K4/32 32GB DDR3 ECC 1600MHz CL11 – ca. 235€
– 32GB ECC RAM der auf der HCL von Kingston steht
Intel Xeon E3-1231v3 4×3,4GHz – ca. 280€
– lieber nicht, besser E3-1245v3, weil dieser eine onBoard GPU hat
IBM M1015 – 120€
– IT-Mode für ZFS
Nvidia FX 5800 PCI – 20€
– weil CPU ohne onBoard GPU
bequiet! Pore Power L7-530W – ca. 60€
Fractal Design ARC MIDI R2 – 80€

Anwendungsfall
Bei mir läuft ESXi 5.5 drauf, dabei wird der IBM M1015 direkt an die FreeNAS VM durchgereicht und bekommt so die Festplatten mit 12GB RAM. Speedlimit liegt bei ca. 600MB/s, eben der Flaschenhals des Controllers mit SAS2/SATA3. Diese stellt einen FTP Server und ein iSCSI Target bereit. Dieses wird auf der ESXi als entsprechendes Blockdevice eingebunden.
Darauf kommt eine Windows VM die Grafikkarte (ATI HD 5770) durchgereicht und der Store liegt auf dem iSCSI Target.
Dazu kommt noch eine der Intel X520 10GBE für den guten Datendurchsatz, die auch iSCSI an einen weiteren Host weiterreichen kann.
Außerdem eine ATI HD 5770, die bald mal gegen was neueres gewechselt werden muss, zudem verdeckt zwar einen PCI Slot, aber egal.

Was kommen könnte
Neuere Grafikkarte, da die ATI HD 5770 etwas in die Jahre gekommen ist. Wichtig ist nur, dass die nur genau zwei Slots belegen darf, da sonst kein Platz mehr für die 10GBE Karte ist.
NVMe Flash Cache/Storage über den Chipsatz. Dazu noch ein neuer Storagecontroler, z.B. Broadcom 9300-8i um mehr Bandbreite zu dem Festplatten zu haben. Für einen 9300-16i müsste ein neues Case her oder ein 4i um mit vier SATA SSDs zu arbeiten.
Mehr USB/LAN kann übrigens auch nicht schaden.

Benchmark Ergebnisse

Typ Model CPU cb CPU cb Single MP Ratio Grafikkarte OpenGL FPS
Intel NUC5i5RYH Intel i5-5250U 2x@1,6GHz 259 108 2,39 Intel HD 6000 36,74
Intel i3-2100 2x@3,1GHz 267 105 2,55 ATI HD 6670 37,76
Lenovo W520 Intel i7-2720QM 4x@2,2GHz 427 102 4,21 Nvidia Quadro 1000M 28,91
Lenovo T440p Intel i7-4710MQ 4x@2,5GHz 522 137 3,79 Nvidia GeForce GT 730M 52,34
dieses System Intel E3-1231 v3 4x@3,4GHz 727 151 4,83 ATI HD 5770 77,81
HP Workstation Intel i7-4770 4x@3,4GHz 729 148 4,94 Nvidia Quadro K600 33,02

Fazit
Als VM Host für zuhause ist dieses System sehr gut geeignet, jedoch merke ich, dass mir die Anzahl der von der CPU kommenden PCIe Lanes nicht ausreichen wird. Daher denke ich aktuell über eine CPU mit 40 Lanes auf Basis des Sockel 2011-3 nach. Dabei sind zwar die Mainboards größer, jedoch wird mein Bedarf gewiss weiter steigen.

Monitoring as a Service

Es gibt diese Tage, an denen wird es der Serverhardware zu heiß. Vor allem dann, wenn die „eigendlich“ redundante Klimaanlage ausfällt. Ist ja nicht so schlimm, wenn die alte dahinten dauerhaft defekt ist. Jane is klar, Murphys Gesetz nimmt auch garantiert rücksicht deswegen.
Also es es kam wie es kommen musste, die zweite Klimaanlage fiehl auch aus. Ergebniss davon waren 38°C im Serverraum und eine abartige Lautstärke, natürlich Samstag abend. Dabei hat sich dann auch ein HP DL580G5 (2x6x2,4GHz, 96GB) ESXi Server endgültig verabschiedet, einer von zweien. Ausgerechnet auch noch so, dass das HA Setup nicht gegriffen hat. Dadurch hingen einige sehr viele VMs fest.
Im Nachgang wurde dann die Klimaanlage repariert und die andere erneuert.

Aber hätte es auch ohne den Vollständigen Shutdown des Krankenhauses gehen können?
JA, wenn die Temperaturen rechzeitig bemerkt worden wären. (Unter der Vorraussetzung eines Bereitschaftsdienstes)

Also, wie löst man ein Problem wenn man kein Geld zur Verfügung hat?
Eine Idee zur Lösung hab ich dann beim durchsehen der 31c3 bei Frank & Ron gesehen. Eine Webcam im Datacenter für RSA Token. Einfach aber genial.onetimepassword
Also habe ich das mal eben selbst umgesetzt:
Monitoring

Webcam auf einen Schrank um Serverraum, Thermometer davor – fertig. Zudem kann man immer sehen, ob die Klimaanlage noch läuft, wenn nicht wurde sich der Flügel zufahren.
Gratis dazu gibts gleichzeitig noch die Tür, dadurch sehe ich auf den Aufzeichnungen wer sich alles so dadrin rumtreibt. Von wegen Zugangskontrolle und so 😉