Super GAU im Enterprise Lab

Was bisher geschah….

  1. Samstag, 20.02.2016, 08:00: Die Mainframe meldet sich bei IBM und meldet dass die Umgebungstemperarur verändert hat.
  2. Samstag, 20.02.2016, 14:00: Unser Hauswart Franz Zimmermann bekommt einen Anruf von IBM bezüglich Gebertemperatur beim Mainframe (dieser hat begonnen graduell den Prozessortakt runter zu fahren).
  3. Samstag, 20.02.2016, 14:30: Bruno trifft im Lab ein nachdem er von Hansjörg einen Anruf bekommen hat (Hansjörg wurde von Franz Zimmermann avisiert). Bruno stellt fest, dass im Lab kritische Temperaturen herrschen und sich einige Devices selber abgestellt haben. Um die Situation zu entschärfen werden Dachluke und Lab Eingang geöffnet.
  4. Samstag, 20.02.2016, 15:00: Bruno telefoniert mit Lukas Gasser vom CC Thermische Systeme und wird von diesem angewiesen den Ventilator vom Hybridkühler im Handbetrieb laufen zu lassen. Die Temperatur im Lab fällt daraufhin sofort auf die gewünschte Temperatur ab. Eine erste Vermutung zeigt auf einen defekten Zufluss Thermostat der den Ventilator vom Kühler zum Stillstand brachte. Anmerkung: Jäggi beweist uns später dass diese Annahme falsch war.
  5. Samstag, 20.02.2016, 17:00: Ein Großteil der Geräte hat sich selber abgestellt. den Rest hat Bruno mit Power-Off abgestellt. Die Temperatur ist nun auf 18/25 Grad abgesunken. Man beschliesst morgen Sonntag eine Bestandsaufnahme zu machen und die Geräte wieder online zu schalten.
  6. Sonntag, 21.02.2016, 13:30: Bruno, Sandro und Dario machen einen ersten Versuch die Maschinen geordnet hochzufahren.
  7. Sonntag, 21.02.2016, 17:00: Die wichtigsten Services sind wieder online, aber es machen sich unerklärliche Glitches bemerkbar. Ebenso sind nur 5 FC Links up. Wie es sich später herausstellt waren das die FCoE Links. Das heisst die nativ FC Ports waren zu diesem Zeitpunkt down. Ebenso waren ein paar IP Links down wie zB jener vom NAS01.
  8. Sonntag, 21.02.2016, 17:30: Das Team beschliesst am Montagmorgen die restlichen Services hochzufahren.
  9. Montag, 22.02.2016, 09:00: Als wir am Montagmorgen die Services überprüfen stellen wir kleine Ungereimtheiten fest. Um sicher zu gehen beschliessen wir über die Mittagszeit einen Reboot vom Netzwerk vorzunehmen.
  10. Montag, 22.02.2016, 11:40: Bruno verschickt ein email an alle Dozenten, dass über die Mittagszeit das Netz kurz runtergefahren wird und es zu einem kleinen Unterbruch kommen werde.
  11. Montag, 22.02.2016, 13:00: Das Netzwerk kommt nicht mehr hoch. Die als “singe chassis” Cluster konfigurierten Switches kommen in einen “split brain” Zustand und formieren sich nicht.
  12. Montag, 22.02.2016, 14:00: Erster Telefon Support von Brocade wird initiiert. Ohne Resultate. Die Gespräche mit Philipp Gasser und Alex Suhl bringen auch keinen Erfolg.
  13. Montag, 22.02.2016, 17:00: Zweiter (offizieller) Telefonsupport von BNC wird initiiert. Ohne Resultate.
  14. Montag, 22.02.2016, 21:00: Bruno beschliesst den Abbruch vom Telefonsupport und verlangt einen Experten vor Ort am nächsten Morgen.
  15. Montag, 22.02.2016, 21:55: Bruno informiert alle Informatik Dozenten. dass die Experten das Netzwerk nicht zum laufen bringen konnten. Auf den Dienstag Morgen ist ein Netzguru von BNC angeboten worden um das Problem zu lösen.
  16. Dienstag, 23.02.2016, 09:00: Der verlangte Experte reist von Lausanne an. Er findet die Netzwerkprobleme und schickt die “dumps” an das Headquarter von Brocade USA zur Analyse.
  17. Dienstag, 23.02.2016, 17:00: als endlich das Netz wieder hochfährt bemerkten wir, dass die Firewall HW Schaden genommen hat. Wir versuchen sofort auf die zweite, redundante Firewall umzuschalten. Auch diese ist beschädigt. Die HW muss ausgetauscht und neu aufgesetzt werden.
  18. Mittwoch, 24.02.2016, 13:30: Am Standup Meeting wird von Jörg Hofstetter vorgeschlagen dass das elcore Team bis Montag morgen Zeit bekommt um alle Services wieder herzustellen. Das Team hat nun einwenig Luft zum atmen. Bis auf einen Dozenten haben alle sehr viel Verständnis gezeigt und auch Hilfe angeboten.
  19. Sonntag, 29.02.2016 21:55: Der Leiter vom Enterprise Lab Bruno Joho informiert alle Informatikdozierenden sowie Mittelbau, das die meisten Dienste wieder laufen und bittet um Feedback bei Problemen.
  20. Rene Hülsler informiert sich bei Bruno Joho über die Auswirkungen und Folgen des Ausfalles. Er verlangt, dass die Erkenntnisse daraus in das Betriebskonzept einfliessen.
  21. Dienstag, 01.03.2016, 10:00: FITI läuft wieder. Später im Unterricht stellt sich heraus, dass ein paar wenige Clientmaschinen (Windows) nicht erreichbar waren was jedoch unerheblich für den Unterricht war.
  22. Dienstag, 01.03.2016, 13:00: alle Services auf dem Research Cluster laufen wieder (inkl. d3s.chd3s.ch, Redmine Service und der AD Trust) ausser der interne Update-Server der für alle unsere Windows-Machinen zuständig ist.
  23. Montag, 07.03.2016, 10:58: Bruno Joho schreibt folgendes email:

Verteiler: Dozierende hauptamtlich/nebenamtlich und Mittelbau

Liebe Kollegen, liebe Kolleginnen

Ich melde mich, hoffentlich zum letzten mal, bezüglich der Enterprise Lab Störung vom 20. Februar.

  • Nachdem wir einige Rückmeldungen bezüglich nicht verfügbaren Services bekommen haben sind nun bis auf die folgenden 3 alle online:
    Lab interne Testumgebung “elshadow” (wird nur für das interne Entwickeln und Testen verwendet)
  • “VMware vRealize Automation Center” SaaS Cloud Platform (wird im Modul SSM erst in 2 Wochen verwendet und wird momentan hochgefahren)
  • Übungsinterne Konfigurationen und Services vom Modul INFSEC (diese Übung findet erst Mitte April statt. Wir arbeiten mit dem Übungsbetreuer zusammen und helfen die Probleme zu beheben bevor der Dozent mit dem Testen beginnt)

Bald beginnen wir die Erkenntnisse aus dem GAU zu verarbeiten. Etwas das ich aber schon mit Sicherheit sagen kann ist die ungenügende Zusammenarbeit und Dokumentation der Leute die eine Unterrichtsübung im Lab entwickeln und dem Lab Team das die Ressourcen dazu bereitstellt. Das wird ein Thema der nächsten ELMi Sitzung sein.
Ich möchte nochmals allen Danken die ihre Hilfe angeboten haben und Verständnis gezeigt haben in dieser schwierigen Situation.

Enterprise Lab Team
Bruno Joho

 

what we learn from old rock’n roll dinosaurs

Finally Neil Young brought it to the point: We need better sounding source and equipment. Read here. I still got hope for good quality music reproduction. Read the article here. You don’t need equipment like this:5 channel high endAsk Robert what you really need for a outstanding sounding equipment. In fact as a good start this would be enough:
ponomusic

 

Requirements for the Mainframe

Dr. Martin Schmatz currently teaching z system architecture lessons during Mainframe intensive course at the University of applied science in Lucerne made the following statement:

“For me as a member of IBM HW research the requirement for the Mainframe is very simple: The probability for a HW failure which results in a user noticeable error must be smaller then the probability that of an meteorite falls on the Mainframe!”

Wir arbeiten als Team

wer hat diesen Spruch nicht schon gehört? Freitag, 3. September hat der 3 tägige Drupal Commerce Event für Entwickler, Anwender und Projektmanager stattgefunden. Ich habe am Nachmittag eine kurze Visite im Foyer der Mensa auf unserem Campus gemacht. Unter anderem habe ich die verschiedenen Ausstellungsstände der Drupal Sponsoren besucht. Leider war es mir nicht möglich ein kleines Refreshment in unserer Mensa zu beziehen. Die Mensa war geschlossen. Man stelle sich das vor. Ein populärer Event wird auf dem Campus Horw abgehalten, die Leute kommen aus der ganzen Schweiz um sich über eines der besten CMS zu informieren und diskutieren. Die Mensa jedoch folgt dem Protokoll, man ist ja schliesslich in der Gewerkschaft 😉 Zumachen um 15:00 und ab in die Badi. Diesem Beispiel bin ich auch gefolgt. Schliesslich war dieser Freitag ein ziemlich heisser Tag. Auch für die Angereisten.

How much knowledge is needed for a chair holder?

I’m participating in a work group. This group gets together every 2 Months and discusses IT topics and problems within the enterprise. It’s the destiny of the chair holder to shout on a regular base against Mac products. “They’re all crap”, is just one example.  Of course everybody in the group tend to believe the highly decorated group leader, disregarding the fact he never owned a Mac Computer nor does he use any other Mac device. Ok, so far so good. This morning I was amused when the anticipation pairs with the lack of technical facts. Here’s the statement: “Mac software installs very complicated with lots of mutual dependencies. This makes it nearly impossible for decent administration.”

I’m not entirely sure if I missing here something (I’m using OSX, Windows, Solaris on a everyday base for years). I asked several “cracks and nerds” if they could list me essential differences comparing OSX and Windows. Despite the list is not very long and after a reduction to “real essential difference” the list became very short. One thing popping up is the missing registry in the OSX Operating System. A programm ist installed by copying the binaries into a folder. The program is removed by deleting this folder.

I recall the statement: “Mac software installs very complicated with lots of mutual dependencies. This makes it nearly impossible for administration.”

I strongly suggest for every emotional criticizer: Get to know the product first, then start shouting.

Im Zweifelsfall für den Angeklagten

Wenn ein Student alte Prüfungen online stellt, dann gefällt das nicht allen Dozenten. Mir auch nicht. Ich möchte ja nicht dauernd neue Prüfung schreiben. Unbestreitbar ist aber der Lerneffekt. Ich habe immer am besten gelernt wenn ich alte Prüfungen durchgearbeitet habe. Ich erinnere mich an meinen Physik Dozenten. Er war schon ein erfahrener alter Hase. Prüfungsvorbereitung? “Hier haben sie eine Auswahl an vergangenen Prüfungen”, und drückte mir einen ganzen Stapel alter Prüfungen in die Hand. Nach der sechsten konnte ich den Stoff perfekt und wurde auch mit einer guten Note belohnt.

Wo liegt der Unterschied zwischen einen Stapel voll alter Prüfungen austeilen (die ja schlussendlich auch Kopiert werden konnten) und einer Publizierung Online? Aus meiner Sicht keiner (Ursula bitte korrigiere mich) – Falls die Rechte und Wünsche der Urheber respektiert werden. Wer ist nun Urheber (resp. der Besitzer der Rechte)? Ist das der Dozent oder der Arbeitgeber? Ich möchte mich dazu nicht äussern aber ich denke der Fall ist auch ohne Jurastudium klar. Nun zum zweiten Aspekt “Wünsche”. Der Wunsch einer jeden Hochschule ist das gute abschneiden der Studierenden. Wir tun alles dafür dass unsere Studierenden den Stoff gut begreifen und als gute Ingenieure ins Berufsleben entlassen werden. Wir besuchen Didaktische Weiterbildungen, nehmen regelmässig an Workshops teil die uns den vermitteln wie wir den Unterricht und die Prüfungen besser und gerechter durchführen können. Alles zum Guten für die Studierenden. Wie ist es nun mit den online gestellten Prüfungen? Wird da der Studierende zuerst mal verdächtigt er missbrauche diese Prüfungen? Oder gibt es andere Gründe dies zu verbieten? Ich weiss es nicht. Ich weiss nur dass der Absicht sicher kein schlechter Gedanke zugrunde liegt. Eigentlich ist das Engagement lobenswert. Vielleicht sollte man einfach durch das Gespräch einen Konsens suchen. Eine mögliche Lösung wäre dass es ein Login braucht dass nur Members von der Hochschule diese Webseiten besuchen können (AAI).

Lieber Student, ich denke sie sind durch ihr Engagement eine Bereicherung für unsere Schule. Sie erinnern mich wie wir alle einmal waren. Voller Ideen und Tatendrang, manchmal auch ungestüm über das Ziel hinausschiessend. Ich bin sicher sie werden das Problem durch Gespräche mit dem Dozenten lösen. Ich hoffe in ihrem Sinne.

Looking back

2010 Herbstsemester – the Enterprise Application (ENAPP) module in particular – has been tuff. Some of the students in ENAPP suffered, others shine brilliant. The full range is available. The guest lecturers – Bela Ban who get the attention as a expert in the field of “High Availability”, Fabian tighten the labs for the Enterprise Security part and Marcel Baumann did an excellent job by talking and showing the students Programming skills. He was the highlight for this semester. The fact is true for all students, they’re all better now. They program better, they think more like programming. But still, the DdD (test driven development) is not there yet. But the students gets interested. Maybe pair programming is the answer in hard core  system programming or very related to solution focussed algorithm finding. But for Enterprise Application Programming there is no other way then DdD. There are far too many students loosing track when start looking for errors. Distributed debugging is another keyword. Not everything work just fine as locally on the beloved notebook. It should be seen as a Tool to program server side. You think server side, you program server side in mind. – Now, debugging happens also serverside, you need to understand the system, how things work together. – Then you know what’s going on, what’s happened right now inside the Software System.

It was great working with the students and the assistants this year. Their progress I noted was remarkable. Some still yelling, as always looking for the the mistakes in others pocket. Fortunately their the minority, otherwise it wouldn’t be fun anymore. So Thanks for that great effort of yours – Goos luck for the MEP. Thanks to Heinz Marti who did a hell of a job (in fact one of his first job ever from Education – or was it iCompany?). He wrote the samples, he debugged and fixed lots of erroneous student applications and he kept the students on track.

Bruno Joho

Windows Benutzer

Heute habe ich im Fitness (ja, ich gehöre auch zu denen) das Gespräch zweier Frauen mitbekommen. Sie standen vor einem Fitness Gerät und die eine erzählte ganz entzückt: Oh, jetzt habe ich Windows 7 auf meinem Computer. Karl hat’s installiert. Er ist ja so geschickt. Weisst du jetzt habe ich dieses neue Hintergrundbild. Es besitzt eine avantgardistische Quadratur mit einer feinen Zeichnung eines Grashalmes im Vordergrund. Karl konnte das einfach aus vielen mit-installierten Bildern auswählen. Ihre interessiert zuhörende Freundin meinte daraufhin: Ja, ich habe auch das neue Windows 7 installiert bekommen von meinem Mann. Er hat mir auch gezeigt wie ich das Windows-Aussehen verändern kann. Er weiss so viel über Computer. Ich bin froh dass er mir immer hilft. Mein neues Hintergrundbild ist eine klassische Hausfassade, griechischer Baustil, fein gezeichnet mit einem traumhaft sphärischen Einfluss der Umgebung. Frei mitgeliefert von Microsoft.

Liebe Leser, die weiteren 10 Minuten dieser hochstehenden Diskussion über Farben, Kunst der geometrischen Formen und sensationellen neuen Betriebsystemen mit neuer, nie da gewesener Technologie – möchten sie nicht unbedingt hören.