Willkommen zu allesnurgecloud.com – Ausgabe #152
Erstmal „Happy Sysadmin Appreciation Day“ – dieser fand, wie jedes Jahr, am letzten Donnerstag im Juli statt. Na, wer hat an dich gedacht?
Falls niemand – dann kannst du bei sysadminday.de immerhin einen HP 4000 Drucker zum selberbasteln herunterladen (PDF hier) und dich bei dir selbst bedanken.
In der letzten Newsletter Ausgabe habe ich das Thema 1:1 Meetings thematisiert, kurz danach gab es im „Engineering Kiosk“ Podcast in Folge #133 viele Tipps und Erfahrungen zum Umgang mit 1on1 Meetings – hört gerne mal rein.
Happy Bootstrapping Podcast
In der letzten Folge (81) hatte ich die Mimi Steger von Layana Life zu Gast – und da kann ich nur den Hut vor ihr und ihrer Mitgründerin Katharina ziehen. Beide sind junge Mütter und haben „nebenher“ ein Startup aufgebaut, welches deine Mitarbeitenden, B2B Kunden oder dich selbst mit hochwertigen und gesunden Snackboxen versorgt. Besonders für Unternehmen spannend, die ein Geburtstags- oder Jubiläumsgeschenk für ihre Belegschaft suchen – hör gerne mal rein.
allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
CrowdStrike Nachwehen
Im CrowdStrike Blog gibt es mittlerweile einen Artikel mit „Technical Details“ zum eigentlichen Problem. Vielerorts wurde kritisiert, dass das die bisher veröffentlichten Informationen ja nicht transparent genug seien. Es fehlen Details, wie das genau passieren konnte – und eine transparente Root Cause Analyse sieht anders aus. Einige Tage später hat man dann ein „Preliminary Post Incident Review (PIR) nachgelegt, das viele weitere Details enthält und eine komplette Root Cause Analyse verspricht, die bald veröffentlicht werden soll.
Das erste Incident Review enthält dann auch den genauen Zeitstempel, in welcher das falsche Content-Update ausgespielt wurde – von 04:09 UTC bis 05:27 UTC, am besagten 19. Juli. Man muss ich da schon fragen, warum es jetzt für Enterprises wie einen bekannten Autobauer aus Stuttgart kein „Proxy repository“ gibt, über den der Rollout von Content Updates gesteuert werden kann, sodass diese in einem Canary Deployment erfolgen.
On July 19, 2024, two additional IPC Template Instances were deployed. Due to a bug in the Content Validator, one of the two Template Instances passed validation despite containing problematic content data.
Es wurde also getestet, aber der Test war unvollständig – der Test des neuen Template Types erfolgte schon am 5. März 2024 – es war hier also kein dringender Rollout, wie manche bereits vermutet hatten. Man möchte in Zukunft auf ein „canary deployment“ setzen und neue Content Updates phasenweise ausrollen. Zudem möchte man das Monitoring an der Stelle verbessern – man hätte ja auch einfach schauen können, ob die Clients wieder online kommen – manchen sie das nicht, den Rollout automatisch stoppen bzw. das Content-Update zurückziehen
Was ist im Zusammenhang mit CrowdStrike noch passiert?
Microsoft schiebt die Schuld auch der EU selbst zu – im Gegensatz zu Apple war man bei Microsoft gezwungen, den Boot Prozess für andere Kernel Module zu öffnen. Da dies eben reguliert worden sei, sei diese Hintertüre erst entstanden – MacRumors.com.
Das BSI hat ebenfalls Konsequenzen zur Panne angekündigt – in den USA warten die Macher von CrowdStrike bestimmt auf die Vorschläge aus Deutschland ;-). Gut, einige der oben genannten Punkte sind nun ja schon überfällig und vermutlich auch im Sinne des BSI – Deutschlandfunk.de.
Und ist die Aktion für CrowdStrilke nicht schon peinlich genug? Man setzt nun einen drauf und hat einen 10 $ UberEats Gutschein an Partner verschickt, da diese ja besonders unter dem Ausfall gelitten hätten. „To express our gratitude, your next cup of coffee or late night snack is on us!“ – Prost, herrje – TechCrunch.com,
Gerüchten zur Folge ist Southwest Airlines von der Outage übrigens nicht betroffen gewesen, da man dort noch Windows 3.1 einsetzt – tomshardware.com. Beim Logistikprovider FedEx aus dem selben Grund nicht von dem CrowdStrike Content Update betroffen. Gibt es den CrowdStrike Client etwa nicht für Windows 3.1? Scheint eine Marktlücke zu sein. Windows 3.1 wurde übrigens im April 1992 veröffentlicht und die letzte (und aktuellste) Version war die 3.11 vom November 1983 (Wikipedia).
An anderer Stelle steht nun, dass Southwest zwar alte Software habe, aber so alt sei sie dann doch nicht – thrillist.com.
Naja, jedenfalls soll der durch CrowdStrike verursachte Ausfall die US Fortune 500 Firmen in Summe um die $ 5,4 Milliarden Schaden bereitet haben – ohne die Ausfälle gerechnet, die Microsoft selbst dadurch hatte – theguardian.com.
Und viele Fragen sich, welche juristischen Folgen das für CrowdStrike haben könnte, bzw. ob man ihnen Fahrlässigkeit nachweisen kann, um dann finanziellen Schaden geltend zu machen. In Frankreich ist die Lage an der Stelle etwas anders, als sonst. Beim Brand im OVH Datacenter in 2021 sei das „Versagen“ ähnlich gewesen, meint thehftguy.com hier.
Und „The Pragmatic Engineer“ hat hier ebenfalls alles nochmal auf englisch zusammengefasst – cool bei ihm der Vergleich eines kontrollierten und validierten Deployments mit dem offensichtlich statt gefundenen YOLO Deployment.
Wie sieht’s bei dir aus? Warst du betroffen? Falls ja, seit wann kannst du wieder normal arbeiten?
Technical Details: Falcon Content Update for Windows Hosts
Sponsored
Hier könnte Deine Werbung stehen
Du möchtest Deine Firma, angebotene Dienstleistungen & Services oder Dein SaaS Produkt hier im Newsletter vorstellen?
Du suchst neue Mitarbeiter und möchtest diese direkt erreichen?
Erreiche über 1000 Cloud und Open-Source Enthusiasten direkt per E-Mail, LinkedIn oder im RSS-Feed.
Bei Interesse antworte mir einfach auf diesen Newsletter oder buche direkt einen Slot bei Passionfroot.
Firefox Theater und Alternative Ladybird?
Wurde Ende es Jahres 2023 noch fleissig der Switch von Chrome nach Firefox an diversen Stellen empfohlen (frunc.de, batsov.com).
Der Wind hatte sich hier nun gedreht, da Firefox ab Version 128 angefangen hat, anonymisiert Daten zu Werbung und ihrer Performance zu erfassen (siehe heise.de). Mozilla hatte hier vor kurzem den Entwickler „Anonym“ übernommen, eine auf AdTech Firma, die sich genau auf dieses Thema spezialisiert hat – „Privatsphäre erhaltende Online Werbung“.
Entwickler kritisieren vor allem, dass das Feature automatisiert aktiviert wurde, ohne einen Consent oder Opt-In der User. Schließlich sei es technisch überhaupt nicht nötig, das Tracking sei auch anders möglich:
Finally, there is no reason for this technology to exist in the first place, because tracking aggregate ad conversions like this can already be done by websites without cookies and without invading privacy, using basic web technology.
Im Forum bei Privavyguides.net ist eine umfangreiche Diskussion zum Thema im Gange. Der heise Verlag hat das Mozilla Team mit der Kritik konfrontiert und die Antworten sind eher so, naja.. kannst du selber lesen.
Ein Lichtblick scheint vielleicht der Browser Ladybird zu werden, der aus dem populären SerenityOS von Andreas Kling hervorging. Klingt steckt nun auch hinter dem „Fork“ des Browsers in ein eigenes Projekt. Neben Andreas Kling ist auch GitHub Co-Founder Chris Wanstrath mit an Bord der „Ladybird Browser Initiative und spendet gleich mal eine Million Dollar an das Projekt. Shopify unterstützt das Projekt ebenfalls.
Entwickler Jack Kelly schreibt in seinem Blog, warum er nun ebenfalls Ladybird supported – nicht nur wegen der aktuellen Aktivität bei Mozilla, sondern eben auch wegen des teilweise nicht ganz transparenten Firmenkonstrukts von Mozilla.
Von Ladybord gibt es aktuell noch kein Release, aber bauen kannst du den Browser mit den GitHub Sourcen bereits schon.
Welchen Browser nutzt du aktuell? Brave? Chromium? Etwas anderes?
Welcome to Ladybird, a truly independent web browser
8 Jahre Kubernetes in Produktion: Lessons Learned
Im verlinkten Artikel auf Medium beschreiben Engineers des „Last Mile Delivery Startups“ Urb-it, welche Erfahrungen sie in den letzten 8 Jahren. mit dem produktiven Betrieb von K8s gemacht haben. Für den ein oder anderen sicherlich hilfreich, um diverse Fehler zu vermeiden. Urb-it selbst wurde Anfang des Jahres von Finmile übernommen, weshalb dir die Firma selbst vielleicht nichts sagt und du auch nichts mehr dazu im Internet findest.
Urb-it entschied sich frühzeitig für Kubernetes als Grundlage ihrer cloud-native Strategie. Diese Entscheidung basierte auf der Erwartung schnellen Wachstums und der Notwendigkeit einer dynamischen, resilienten und effizienten Umgebung für ihre Anwendungen. Trotz des großen Wissensaufwands und der Komplexität für ein Startup wurde Kubernetes aufgrund der Mikroservice-Architektur als passend empfunden.
Migration von self-hosted auf AWS zu AKS auf Azure
Urb-it startete mit einem selbstverwalteten Cluster auf AWS, wechselte jedoch später zu Azure Kubernetes Service (AKS), als verwaltete Lösungen verfügbar wurden. Dieser Wechsel bot eine bessere Integration und Kostenvorteile. 2018 migrierten sie zu AKS und haben diesen Schritt nicht bereut, trotz einiger Probleme.
Cluster-Abstürze
Zwei bedeutende Cluster-Abstürze ereigneten sich aufgrund abgelaufener Zertifikate. Beim ersten Crash mussten sie den gesamten Cluster neu aufbauen, was mehrere Tage dauerte. Der zweite Crash ein Jahr später war aufgrund eines Bugs im kube-aws-Tool leichter zu beheben.Aber ja, abgelaufene Zertifikate, auch hier 🙂
Lessons Learned Zusammenfassung
- Kubernetes ist komplex und erfordert engagierte Ingenieure.
- Es ist wichtig, Kubernetes-Zertifikate und deren Ablaufdaten zu verstehen.
- Kubernetes und Helm sollten stets auf dem neuesten Stand gehalten werden.
- Zentrale Helm-Charts können Aktualisierungen erleichtern.
- Ein Disaster Recovery Plan ist essenziell.
- Strategien zur Sicherung von Secrets sind ebenfalls notwendig.
- Vendor-agnostische Ansätze können hohe Kosten verursachen – Urb-it entschied sich daher für eine vollständige Integration in Azure-Produkte.
Vermutlich waren die Kollegen etwas zu früh dran und mit etwas Geduld hätte man diverse Fehler vermeiden können – auf der anderen Seite hat man auch viel gelernt, beispielsweise beim self-hosted Betrieb von K8s. Das sagen sie auch selbst:
We started with Kubernetes a bit too early, before we really had the problems it would solve. But in the long run, and especially in the latest years, it has proven to provide great value for us.
Mich überrascht, dass man als Startup sich so früh mit sowas beschäftigt, aber wenn alle etwas dabei gelernt haben, ist es ja auch fein?
Zufriedenheit als Karriere-Booster
Bei Jochen ging es in einer vergangenen Newsletter Ausgabe um „Zufriedenheit“ und dass diese einen positiven Einfluss auf die Karriere haben kann. Er zitiert dabei eine Studie von „Chief Happiness Officer“ Alexander Kjerulf, in der es eben um Zufriedenheit im Job geht und welchen Einfluss diese hat:
Numerous studies show that happy individuals are successful across multiple life domains, including marriage, friendship, income, work performance, and health.
The authors suggest a conceptual model to account for these findings, arguing that the happiness–success link exists not only because success makes people happy, but also because positive affect engenders success.
Zufriedenheit und Erfolg seien also gegenseitig verbunden und begünstigen sich gegenseitig. Jochen beschreibt aus eigenen Erfahrungen, dass zufriedene Mitarbeitende besser in der Zusammenarbeit sind und auch qualitativ bessere Ergebnisse liefern. Zudem seien zufriedene Kollegen auch resilienter – das kann in vielen Fällen helfen, beispielsweise wenn man mal wieder durch das „Tal der Tränen“ unterwegs ist.
Ich sehe das mittlerweile ähnlich – neulich habe ich auch über die SOS Philosophie gelesen – „Slower, Older and Smarter“ – kann auch zufrieden machen.
Wiz sagt Verkauf an Alphabet ab
Tja, in der letzten Woche hatte ich die mögliche Wiz Übernahme durch Alphabet als größte Alphabet Übernahme angekündigt, nun hat sie scheinbar Wiz selbst abgesagt.
Techcrunch hat Auszüge aus der E-Mail, die Wiz CEO Assaf Rappaport and die 1200 Mitarbeitenden geschickt hat (auch diese Zahl ist nun wohl die offizielle).:
I know the last week has been intense, with the buzz about a potential acquisition. While we are flattered by offers we have received, we have chosen to continue on our path to building Wiz.
Let me cut to the chase: our next milestones are $1 billion in ARR and an IPO.
Man möchte also nun doch einen IPO machen und erstmal den Jahresumsatz (ARR) auf 1 Milliarde Dollar erhöhen. Aktuell sei man noch ungefähr bei der Hälfte – 500 Millionen. Laut Techcrunch gehören den 4 Gründern noch jeweils 9 % der Firma, in Summe also 36 % – das ist ja schon beachtlich.
Was ich bisher nicht so verfolgt hatte, sind die teilweise fragwürdigen Sales Methoden, die Wiz anwendet, um auch Wettbewerber in Angeboten auszustechen. Und natürlich sind solche öffentlich gemachten Sicherheitsvorfälle wie SAPwned letzte Woche auch eine besondere Publicity Maßnahme. Man hat mich noch auf dieses Porträt der Firma und des Gründers bei Forbes hingewiesen – falls dich die Details zur Firma interessieren, hier wirst du sicherlich fündig.
Golem.de: Wiz lehnt 23 Milliarden US-Dollar von Alphabet ab
Docker hat Security Fix von 2019 vergessen
Und auch bei Docker gibt es ein kleines Security-Issue, welches wohl nur dank eines lückenhaften Releaseprozesses noch existiert.
Die Lücke aus 2018, die einen ByPass des AuthZ Plugins ermöglichte, wurde im Januar 2019 in Docker Engine v18.09.1 zwar gefixed, dann aber nicht in Docker Engine v19.03 eingebaut und in allen Folgeversionen dann vergessen. Jedenfalls hat die neue (alte) Lücke nun den CVE-2024-41110 und betrifft alle Versionen von 19.x bis hoch zu 27.x – also, einmal patchen, bitte. Ach ne, das ist ja bestimmt automatisiert, oder? 😉
Die „Commercial“ Version von Docker ist nicht betroffen, wohl aber die Docker Desktop Version – also auch die bitte aktualisieren – hier benötigst du dann mindestens v4.33, dann ist das zumindest kein Thema mehr.
Der CVSS Wert ist übrigens bei 9,9 – also ziemlich kritisch. Da das Thema bekannt war und nun 5 Jahre unterwegs ist, würde ich mich wundern, wenn das nicht aktiv wo ausgenutzt wurde.
Docker Security Advisory: AuthZ Plugin Bypass Regression in Docker Engine
GitLab 17.2 released und Verkaufs-Gerüchte
Und auch im Juli gab es ein GitLab Release – 17.2 – und auch mindestens einen Security Patch dazu (und auch für die Versionen 17.1 und 17.0).
Die Highlights in 17.2.:
- Log Streaming für Kubernetes Pods und Containers – für den einfachen Zugriff auf Logfiles direkt aus GitLab heraus – sehr bequem
- In Premium und Ultimate kannst du Merge Request nun mit dem Status „Request Changes“ ablehnen
- in der Ultimate und „Duo Enterprise“ Version können Findings des Security Scanners nun von der Duo Chat AI erklärt werden
- Für alle Versionen ab Premium ist nun die AI GitLab Duo Chat in den Workspaces verfügbar
- Man kann nun alle Settings über die Suche der „Command Palette“ einfach erreichen – und sucht sich nicht mehr den Wolf, ob das Setting nun auf der Gruppenebene oder im Projekt war.
- Beim GitLab Wiki gibt es Verbesserungen an der Sidebar und der Titel der Wiki Seite war bisher auch der Pfad der Wiki-Seite, das hat sich nun ebenfalls geändert und der Titel und der Pfad können nun unabhängig voneinander sein
- Das in GitLab integrierte Terraform Repository stellt nun auch Readme Files dar
Zusätzlich zum „normalen Release“ gibt es aktuell wieder Verkaufsgerüchte bei GitLab (Reuters.com). Der Aktie haben die Gerüchte einen kleinen Schub verpasst, aber dann war wieder ein wenig Ruhe. Der Google Mutter Alphabet gehören ca. 22,2 % der GitLab Shares – ob Google hier nun tätig wird, da es mit Wiz ja nichts wird?
Schmunzelecke
„No Uptime“ Hosting ist ein Hosting Unternehmen der anderen Art. Es gibt noch PHP 4,5 und 6, 200KB Storage im „I’m poor Plan“ und 200 GB im „Resell-our-crap“ Plan. Ach und es gibt Windows 3.11 – damit wärst du auch vom CrowdStrike BSOD sicher gewesen, alles klar, oder?
Hier kannst mit „No Uptime Hosting“ glücklich werden – kein Affiliate Link.
💡 Link Tipps aus der Open Source Welt
pgbadger – PostgreSQL Log & Performance Analyzer
pgbadger ist ein Tool zur Analyse des PostgreSQL Log Files, welches einem Tipps zur Optimierung der Konfiguration & Performance gibt. Du kannst pgbadger auf dem Server direkt ausführen oder auch remote über SSH. Es gibt eine Menge an Optionen und es empfiehlt sich eine tägliche & automatisierte Ausführung, pgbadger hat eine Option zur inkrementellen Ausführung.
Die Reports können auch als HTML ausgegeben werden und sind dann wirklich einfach zu checken – hier kannst du einen Beispiel Report anschauen. Eine Übersicht über alle Features findest du hier auf GitHub. Für PostgreSQL User unbedingt empfehlenswert.
https://github.com/darold/pgbadger
Catcher – Web Vulnerability Scanner
Catcher ist ein Web Vulnerability Scanner der Penetration Testerin und Aktivistin N3LL4 . Catcher findet typische Schwachstellen und offene Baustellen in weit verbreiteten CMS Systemen wie WordPress, Joomla oder Typo3.
Catcher ist in Python geschrieben und noch relativ neu und soll in Zukunft noch weitere Features bekommen und zusätzliche CMS Systeme supporten.
https://github.com/N3LL4-01/Catcher
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: