Comment: My Cool Data Center, is getting Hot, Need to Improve on That – 527

This is an comment so Morten Video „My Cool Data Center, is getting Hot, Need to Improve on That – 527“.

Hi Morten,

I’ve ask my colleagues from the datacenter expert team how they would cool such a small 8-20m² colocation room.
They see the following as essential:
do:
– filter the air (like an K&N filter from the car tuning store)
– mesure or calculate the air flow of your servers
– use a return flap on the intake and outtake, to have a defined airflow
– monitor temperature and humidity
– use A & B feed with ups and genset (they build Tier II to IV Datacenters the hole day)
– use surveillance, access control, intrusion detection (and allso high secure ones)
– use redundancy all time n+1/2 (WTF – for at home?!?)

don’t do:
– use high pressure intake fans, otherwise the fans in the server will become generators and that would damage the Servers over time
so one fan that push out the hot air is just fine
– short circuit the air typ’s

Solution:
They told me tho use an PLC to controle the system like a Siemens Logo.
My idea was to use an raspi or aduino with
2/3x DHT22 (behind the rack, in front of/in the room, outside)
5V Relay board 4 or 8 channels to turn the fan’s on and off to reduce power consumption (easy way) or if possible control fan speeds
some scripts, wiringPi, lol_dht22

Here is an shot overview of my plan:

And here the simple script to check temperature and humidity, to make a switching decision:

#!/bin/bash
#
# Script mit schaltbefehlen je nach Luftfeuchtigkeit und Temperatur
# Script to controll air exchange
# Variablen
#humi=$(sudo /var/www/loldht 7 | grep -i "humidity" | cut -d ' ' -f3)
humi=$(sudo /var/www/loldht 7 | grep -i "humidity" | cut -d ' ' -f3 | cut -d '.' -f1)
#temp=$(sudo /var/www/loldht 7 | grep -i "temperature" | cut -d ' ' -f7)
temp=$(sudo /var/www/loldht 7 | grep -i "temperature" | cut -d ' ' -f7 | cut -d '.' -f1)
# hier Vergleichswert einlesen
# fill variables with data
humi_max=70
temp_max=35
temp_mode25=25
temp_mode24=24
temp_mode23=23
# Luftfeuchtigkeit - humidity 70% Max.
if [ $humi -ge $humi_max ];
then
/home/pi/schalter/r1-on.sh
/home/pi/schalter/r2-on.sh
sleep 600
/home/pi/schalter/r1-off.sh
/home/pi/schalter/r2-off.sh
else
# Temperatur 35° Max.
if [ $temp -ge $temp_max ];
then
/home/pi/schalter/r1-on.sh
/home/pi/schalter/r2-on.sh
sleep 10
/home/pi/schalter/r1-off.sh
/home/pi/schalter/r2-off.sh
else
# Temperatur 25° Max.
if [ $temp -ge $temp_mode25 ];
then
/home/pi/schalter/r1-on.sh
/home/pi/schalter/r2-on.sh
sleep 5
/home/pi/schalter/r1-off.sh
/home/pi/schalter/r2-off.sh
else
# Temperatur 24° Max.
if [ $temp -ge $temp_mode24 ];
then
/home/pi/schalter/r1-on.sh
/home/pi/schalter/r2-on.sh
sleep 4
/home/pi/schalter/r1-off.sh
/home/pi/schalter/r2-off.sh
else
# Temperatur 23° Max.
if [ $temp -ge $temp_mode23 ];
then
/home/pi/schalter/r1-on.sh
/home/pi/schalter/r2-on.sh
sleep 3
/home/pi/schalter/r1-off.sh
/home/pi/schalter/r2-off.sh
else
echo "nö"
#Ende der IF's
fi
fi
fi
fi
fi
#
# Test
echo "Luftfeuchtigkeit " $humi # > /home/pi/temp/demo
echo "Temperatur " $temp # >> /home/pi/temp/demo

or the download with all my tapstops:

nach 10GBE geht doch noch was… ODER???

Dieses mal gibt es etwas aus dem Bereich (Achtung Buzzword Bingo Bullshit!!!) „high“ Performance Networking.
Ich hatte im Rahmen einer Teststellung die Gelegenheit zwei Mellanox ConnectX-4LX 40GbE (CX4131A bzw. MCX4131A-BCAT) mit einem 3m QSFP+ (MC2210128-003) testen zu können.
Sofort Karten auspacken, in meine Testmaschine werfen und nix geht. ESXi 5.5 zeigt mir zwar die Karte an, aber nicht als Netzwerkkarte. Zweites Image mit ESXi 6.0 gestarten und… das gleiche Bild.
Ok dann halt im Passthrough Modus. Dabei zeigen sich folgende Verhaltensweisen:
Windows Server 2008 R2
Ähm… nöööö, da ging garnichts, zumindestens nicht automatisch. Nachdem ich den Treiber gefunden hatte, ging es gut. Doch wozu brauch ich 40G unter Windows in einer VM? ATTO Benchmarks auf SAN abfeuern, welches bereits wegen des Dell H310/M1015 bereits bei 600MBit/s aufgibt. Nee danke.
VMWare ESXi
Da ich kein VCenter habe und keine Lust darauf habe ein custom Image nur für diesen Test zu bauen, kann ich außer der Einleitung nichts dazu sagen.
*Ubuntu 16.04.2/Debian 8
gestartet, erkannt und funktionierte
Daher habe ich auch die weiteren Tests mit 16.04.2 gemacht.
Treiber
Lagen nicht bei, hab ich nach etwas suchen dann doch direkt beim Hersteller gefunden:
Link zum Mellanox Treiber
Benchmarks
Die waren mit einigen Hindernissen verbunden. Zuerst hatte ich als B-Ende einen Core2Quad Q8200 genutzt.
Der kam mit etwas Optimierung nur auf 17,9 GBit/s, zudem waren alle vier Kerne auf anschlag 100%.

Als nächstes habe ich dann den i3-2100 zum Testen herangezogen, welcher auch direkt ein besseres Bild zeigte (19,4GBit/s):

Diesmal war es aber iperf3, welches sich als Flaschenhals zeigte. iperf brachte da ein doch besseres Ergebnis (25,5-26,0GBit/s):

Ich merke jedoch, dass solche Hardware eindeutig für PCI Express 3.0 ausgelegt ist und ich einfach an die Limits von PCIe 2.0/2.1 stoße. Bei 10GBE ist das nämlich kein Problem.
Fazit
Mit einem „Marktpreis“ von ca. 500€ – nur Karte – ohne Kabel oder QSFP+ Modul – könnte 40GBE jetzt auch bei einem breiteren Publikum ankommen. Mir zeigte es vor allem, dass nach Dualport 10GBE nur 40GBE bzw. dual 40GBE kommen kann, PCIe 3.0 oder besser vorrausgesetzt.
Im Zusammenhang mit einem Mellanox 40GBE 12 Port Switch (MSX1012B-2BFS) geht da bereits einiges, vor allem wenn man nur noch zwei Ports braucht, um einen Nutanix/Supermicro Server mit vier Nodes á zweimal 10GBE SFP+ mit einem Kabel anzuschließen. Zudem können zwei dieser Switches auf einer Höheneinheit montiert werden.
Bei sowas kann ich mir gut vorstellen diese beiden untereinander zu verbinden und mit dem Management Switch anzubinden, dass ganze dann per 40GBE Redundant auf LWL (SMF) in Richtung Core Switch zu schicken. (Außer man macht es so wie ich aktuell und geht mit zwei QSFP+ auf SFP+ auf RJ-45 um den Management Switch anzubinden 😛 )
Schöne neue Welt 😀

Monitoring as a Service

Es gibt diese Tage, an denen wird es der Serverhardware zu heiß. Vor allem dann, wenn die „eigendlich“ redundante Klimaanlage ausfällt. Ist ja nicht so schlimm, wenn die alte dahinten dauerhaft defekt ist. Jane is klar, Murphys Gesetz nimmt auch garantiert rücksicht deswegen.
Also es es kam wie es kommen musste, die zweite Klimaanlage fiehl auch aus. Ergebniss davon waren 38°C im Serverraum und eine abartige Lautstärke, natürlich Samstag abend. Dabei hat sich dann auch ein HP DL580G5 (2x6x2,4GHz, 96GB) ESXi Server endgültig verabschiedet, einer von zweien. Ausgerechnet auch noch so, dass das HA Setup nicht gegriffen hat. Dadurch hingen einige sehr viele VMs fest.
Im Nachgang wurde dann die Klimaanlage repariert und die andere erneuert.

Aber hätte es auch ohne den Vollständigen Shutdown des Krankenhauses gehen können?
JA, wenn die Temperaturen rechzeitig bemerkt worden wären. (Unter der Vorraussetzung eines Bereitschaftsdienstes)

Also, wie löst man ein Problem wenn man kein Geld zur Verfügung hat?
Eine Idee zur Lösung hab ich dann beim durchsehen der 31c3 bei Frank & Ron gesehen. Eine Webcam im Datacenter für RSA Token. Einfach aber genial.onetimepassword
Also habe ich das mal eben selbst umgesetzt:
Monitoring

Webcam auf einen Schrank um Serverraum, Thermometer davor – fertig. Zudem kann man immer sehen, ob die Klimaanlage noch läuft, wenn nicht wurde sich der Flügel zufahren.
Gratis dazu gibts gleichzeitig noch die Tür, dadurch sehe ich auf den Aufzeichnungen wer sich alles so dadrin rumtreibt. Von wegen Zugangskontrolle und so 😉