Willkommen zu allesnurgecloud.com – Ausgabe #141!
Nach einer 2-wöchigen Pause gibt es Aufgrund von Verzögerungen im Betriebsablauf die für gestern geplante Ausgabe erst heute.
Ab nächster Woche erhältst du den allesnurgecloud Newsletter wieder, wie gewohnt am Sonntagmorgen.
Falls du dir also Sorgen gemacht hast, keine Panik 🙂
Happy Bootstrapping Podcast
Aufgrund der Pause hier im Newsletter gab es bei „Happy Bootstrapping“ zwei Releases:
- Folge #65 mit Mati Sójka, dem CEO von podigee – einer SaaS Podcast Hosting Plattform. Wir haben hier viel über Technik gesprochen und über die Traffic und dessen Kosten, da dieser Punkt einen erheblichen der Podcast Hosting Kosten ausmacht. Da ich Podigee selbst für die Bereitstellung des Podcasts nutze, war die Folge diesbezüglich sehr interessant für mich. Mati hat aber auch offen und ehrlich über Höhen und Tiefen des Geschäfts berichtet.
- Folge #66 mit Max Muench ist dann komplett etwas anderes. Max ist Fotograf, hat knapp 600.000 Instagram Follower und hat damit verschiedene Geschäftsmodelle aufgebaut, unter anderem die individuellen Offroad Reisen von „Follow the Tracks“ in der Mongolei und in den Oman. Und im Vergleich zu den ansonsten recht planbaren Geschäftsmodellen, die ich sonst so im Podcast habe, war dies schon erfrischend anders.
allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Berichterstattung zur Linux XZ Backdoor
Über die letzten Wochen hast du sicherlich mitbekommen, dass es einen weitreichenden Angriff auf die xz Utils gab. Die xz Utils Bibliothek wird unter anderem im SSH Daemon verwendet.
Die verwundbaren Versionen der xz Utils sind 5.6.0 und 5.6.1 gewesen, teilweise wurde diese in Linux Distributionen schon ausgerollt, wie beispielsweise bei Gentoo oder auch Fedora Rawhide. RHEL selbst ist nicht betroffen, aber RedHat empfiehlt den umgehenden Stop der Nutzung von Fedora Rawhide und einen Rollback der xz Utils auf Fedora 40 Linux Beta. Die populären Distributionen wie Debian, Ubuntu und Co. sind erst mal nicht verwundbar, da diese einen älteren Stand der Library verwenden.
Über die neue Version der Library hätte der Angreifer den SSH Daemon übernehmen und Code ausführen können.
In diesem Artikel bei ArsTechnica wird ausführlich erklärt, wie die Backdoor versteckt wurde, wie sie genau funktioniert und wie der GitHub User JiaT75 über Jahre daran gearbeitet hat, diese Lücke in die Bibliothek zu bringen. Er hat hier erstmal kleinere Dinge im Code verändert, um dann später größere Changes live zu bringen.
Dazu gibt es ein tolles Sharepic mit Timeline.
Das GitHub Projekt xzbot enthält diverse Tools, um den die Backdoor selbst in einer geschützten Umgebung auszuführen: einen Honeypot SSH Server, der eben selbst verwundbar ist, die Backdoor payload und eine CLI, um eine Remote Code Execution auszuführen.
Eine detaillierte Erklärung, wie die Lücke im Detail implementiert wurde und durch welche Mechanismen sie funktioniert, hat der Security Researcher Gynvael Coldwind in seinem Blog veröffentlicht. Gynvael ist beeindruckt, wie die Backdoor versteckt wurde und wie flexibel sie auch andere Themen ermöglicht hätte:
I can’t help but wonder (as I’m sure is the rest of our security community) – if this was found by accident, how many things still remain undiscovered.
Entdeckt wurde die Lücke vom deutschen Microsoft Entwickler Andres Freund. Er hatte sich gewundert, dass die CPU-Last des SSH Prozesses auf seinem Entwicklungssystem deutlich höher sei, als sonst. Das hat er analysiert und seine Schlussfolgerungen auf die oss-security Mailing Liste geschickt.
Tja und auf die Bild verweise ich sonst ja nicht – die Zeitung hat das Thema aber aufgegriffen und ein Bild von Andres Arbeitszimmer analysiert, welches er selbst auf Twitter gepostet hatte.
Wired analysiert in diesem Artikel die Internet Historie der Person Jia Tan, die hinter dem GitHub Account JiaT75 stecken soll. Man hat sogar die Timezones der GitHub Commits angeschaut und kommt daher zu dem Schluss, dass nicht nur eine Person dahintersteckt und wir in Zukunft mit weiteren solcher Angriffe zu rechnen haben:
Security researchers agree, at least, that it’s unlikely that Jia Tan is a real person, or even one person working alone. Instead, it seems clear that the persona was the online embodiment of a new tactic from a new, well-organized organization—a tactic that nearly worked.
That means we should expect to see Jia Tan return by other names: seemingly polite and enthusiastic contributors to open source projects, hiding a government’s secret intentions in their code commits.
Das t3n Magazin hat eine deutsche Zusammenfassung der Vorgänge veröffentlicht, falls du eine kurze Variante bevorzugst.
What we know about the xz Utils backdoor that almost infected the world
Grafana 11.0 und Loki 3.0 angekündigt
Grafana hat auf der hauseigenen GrafanaCON in Amsterdam in dieser Woche neue Features und Versionen der populären Tools Grafana und Loki angekündigt.
Verfügbar sind, stand heute, nur Preview Versionen der neuen Software.
Grafana 11.0
- Mit „Explore Metrics“ sollen Metriken in Zukunft viel einfacher erstellt und korreliert werden können – query-less. D.h. es gibt eine Standart View für Metriken und Vorschläge, wie das Ganze kombiniert werden kann. Grafana findet dann „related Metrics“ und schlägt diese zur gemeinsamen Ansicht vor. Falls meine Worte nicht verständlich sind, kannst du dir diese 5 Minuten Video dazu anschauen. „Explore Metrics“ kommt als „Public Preview“ in alle Grafana Versionen.
- Ähnlich zu den „Explore Metrics“ gibt es analog „Explore Logs“ für Loki logs – ohne, dass man LogQL schreiben muss. Explore Logs kommt erstmal als „Experimental Feature“
- Die neue Dashboard Library „Scenes“ ist nun mit wenigen Limitierungen verfügbar – Dashboards sollen damit in Zukunfnt flexibler und dynamischer erstellt werden können
- Die Grafana Ordner können nun mit Sub-Foldern kombiniert bzw. verschachtelt werden – das sorgt für mehr Übersichtlichkeit in der Ablage
- Panel und Dashboard Titel und Beschreibungen können nun mit der Hilfe von AI erstellt werden
- PDF Exports wurden ebenfalls verbessert
Alle neuen Grafana Features findest du im Grafana Blog oder im verlinkten Grafana v11.0-Preview Changelog.
Loki 3.0
Nach 5 Jahren Entwicklungshistorie veröffentlich Grafana Loki in Version 3.0 mit zahlreichen Verbesserungen, unter anderem:
- Neue Bloom Filters als experimental Feature, diese sollen euch in Zukunft helfen, gewünschte Logs einfacher zu finden. Loki geht hierbei effizienter vor und soll bei einer Suche nach beispielsweise eine Order oder UserID um 70-90% schneller sein.
- Das Standard OpenTelemetry Logformat wird nun von Loki nativ unterstützt.
- Explore Logs hatte ich oben ja schon beschrieben, zum Release gibt es nun einen eigenen Blog-Artikel im Grafana Blog
Im Gegensatz zum Grafana Release ist Loki 3.0 schon zum Download verfügbar.
What’s new in Grafana v11.0-preview
Sponsored
8gears Container Registry
Container Images unterscheiden sich deutlich von anderen Artefakten hinsichtlich ihrer ständigen Verfügbarkeit.
Im Gegensatz zu NPM oder JAR Artefakte müssen Container Images für den operativen Betrieb der Anwendung durchgehend verfügbar sein. Auch sollte die Registry nicht auf den gleichen Clustern laufen wie die Anwendungen, um den MTTR (mean time to recovery) möglichst kurzzuhalten. Selbstverständlich sollte die Registry hochverfügbar ausgelegt werden, mit ansprechenden Datenbanken und Buckets.
Wenn es bloß jemanden gäbe, der das Ganze für einen übernehmen könnte?
Die 8gears Container Registry ist ein Harbor-basierte Container-Registry Service. Angeboten und betrieben von Harbor Projektbetreuern und Mitwirkenden.
Hochverfügbar in verschiedenen EU Datenzentren ganz in deiner Nähe.
👉 Erfahre mehr über die 8gears Container Registry
Amazon investiert $ 150 Milliarden in neue Datacenter
Um mit dem AI Hype schritt zu halten, plant Amazon Investitionen in Höhe von 150 Milliarden Dollar in neue Datacenter – soweit zumindest mal die Schlagzeile.
In den folgenden Zeilen liest man dann, dass diese Investitionen nicht in den nächsten Jahren, sondern über einen Zeitraum von 15 Jahren getätigt werden sollen.
Philipp Klöckner hat im lesenswerten Newsletter „Doppelgänger Update“ die Zahlen analysiert und meint, dass AWS mit diesen Investitionen deutlich langsamer wächst als bisher.
Rechne man die öffentlichen Zahlen der letzten Amazon Earnings mit 50 ungefähr Milliarden Capex pro Jahr auf AWS grob um, so seien bisher 20 Milliarden pro Jahr in die Cloud Sparte investiert worden. Dafür sind die angekündigten 10 Milliarden Dollar dann eher ein Zeichen für ein in Zukunft geringeres Wachstum der Cloud-Sparte.
Eine detailierte Analyse liefert hierzu auch der Doppelgaenger Tech Talk Podcast, Folge 342, Ab ca. 1 Stunde und 45 Sekunden.
Amazon Bets $150 Billion on Data Centers Required for AI Boom
Datacenter Probleme bei Plusserver
Ende März gab es bei Plusserver und Server4You massive Probleme an einem Datacenter Standort. Im Batterieraum sei ein kleines Feuer ausgebrochen – dies wurde zwar schnell gelöscht, hat aber (dank Wasserseinsatz?) einen größeren Schaden an der Stromversorgung verursacht. In dessen Folge mussten alle Server heruntergefahren werden. Der Standort selbst wird in Straßburg von GoDaddy betrieben.
In einem beeindruckenden Manöver hat dann Plusserver kurzfristig entschieden, alle dortigen Server aus Straßburg in das eigene Data Center bei Köln umzuziehen.
Man hat Freitags entschieden, den Umzug kurzfristig durchzuziehen und konnte bereits bis Sonntag Abend für 95 % der Systeme Vollzug melden. Die weitern 5 % wurden am Montag wieder online gebracht.
Natürlich liest sich für die Kunden erstmal schlecht und das hat sicher einen Haufen Ärger verursacht. Auf der anderen Seite finde ich die Transparenz auf der Statuspage klasse und bin verblüfft, dass man scheinbar einen Notfall-Plan für einen solchen kurzfristigen Umzug in der Tasche hatte. Logistisch ist das ja nicht so einfach, man braucht für Server geeignete Transportboxen oder mobile Racks, LKWs, die am Wochenende fahren, Mitarbeitende, die kurzfristig helfen – das kann eigentlich nur funktionieren, wenn man das schon mal geübt oder einen guten Plan dafür in der Tasche hat – inkl. Dienstleister, die hier supporten können.
Gut, vielleicht wollten sie die Server 2,3 Wochen später eh normal umziehen, dazu ist nun nichts bekannt, aber kann ja auch sein.
Daher die Frage – hast du solch einen Notfall-plan in der Tasche? Hat dein DC Provider das? Hast du eine Idee, was in solchem Fall bei deinem Cloud-Provider Standort passiert?
Einige Statements und eine Zusammenfassung zum Vorfall findest du hier bei Heise Online. Ansonsten scheint Straßburg hier kein Glück zu haben als Datacenter Standort, der Brand bei OVH im März 2021 war ebenfalls in Straßburg.
Problems with power supply – Probleme mit der Stromversorgung
HTML E-Mails als Sicherheitsrisiko
HTML-Emails – da verbindet der ein oder andere sicher eine gewisse Hassliebe. Im Umfeld Mail Testing sind ganze SaaS Giganten entstanden, ohne deren Hilfe man keine „schönen“ E-Mails hinbekommt, die auf sämtlichen E-Mail-Clients funktionieren.
Im Blog von Lutra Security finden sich einige Beispiele von Attacken über E-Mail, die teilweise dann auch nur sichtbar sind, bzw. funktionieren, wenn die E-Mail einmal weitergeleitet wurde. Also Text, der beim Original-Empfänger ausgeblendet wird, wird erst nach der Weiterleitung sichtbar. Das Ganze funktioniert via CSS Klassen, die mittels „display:none“ ausgeblendet werden.
Passenderweise hat der Autor des Artikels, Konstantin Weddige, das Thema „Kobold Letters“ genannt. Er zeigt am Beispiel Thunderbird, Outlook WebClient und Gmail, wie das bei diversen Clients funktioniert und wie die Hersteller auf die Meldung reagiert haben.
Microsoft und Thunderbird haben das Verhalten bestätigt, aber keinen Fix in Aussicht gestellt – nur Google hat bestätigt, dass man an einem Fix arbeite.
Kobold Letters: Why HTML emails are a risk to your organization
Knock.app – Zero downtime Postgres Upgrade
Knock ist eine SaaS Notification Platform, die es schon länger gibt. Nun stand man vor dem Problem dass man die initial konfigurierte PostgreSQL 11.9 Datenbank aktualisieren musste, da diese Ende Februar bei AWS EoL ging. Die Knock Kunden waren bisher gewohnt, dass der Service kaum Downtimes hat, dies wollte man nun bei der DB Migration unbedingt auch beachten.
Zudem wollte man direkt auf die „Latest and Greatest“ PostgreSQL 15.3 migrieren, und dabei nicht für 4 Major Versionen die Upgrades nacheinander inklusive Downtime durchführen.
Die komplette Migration wird im verlinkten Blog-Artikel beschrieben und ist in PostgreSQL aufgrund der vielfältigen Konfiguration der Replikation dann tatsächlich mit „Zero Downtime“ möglich gewesen.
Natürlich ist solch eine Aktion gut vorbereitet: diverse Metriken werden beobachtet und der Cut-Over mehrfach im Staging System trainiert und immer weiter automatisiert worden.
Zudem wurde die Applikation angepasst, damit sie mit beiden Datenbankständen klar gekommen ist.
Falls bei dir eine ähnliche Aktion ansteht – das Knock Team hat eine Checkliste bereitgestellt, die auf den jeweiligen Use-Case angepasst werden sollte.
Die Aktion wurde über Monate vorbereitet und der ganze Aufwand hat sich gelohnt – die Kunden merkten nichts von der Migration und es gingen bei der Umstellung der Applikation keine Queries und Kundendaten verloren. Zudem sei erwähnt, dass die Migration in einer „low traffic“ Phase durchgeführt wurde.
Zero downtime Postgres upgrades
Onboarding Roulette bei Graphite
Lunch Roulette ist dir vielleicht schon ein Begriff – hierbei treffen sich zufällig ausgewählte Mitarbeitende für ein Mittagessen, um sich und die Tätigkeiten der Kollegen besser kennenzulernen. Im Remote Umfeld bei GitLab gibt es hierfür die Coffee Chats, die das Gleiche bei einem virtuellen Kaffee bewirken sollen.
Die SaaS Pull Request Optimierungsplattform Graphite hat nun deren Prozess des „Onboarding Roulettes“ vorgestellt. Hierbei werden Accounts der Mitarbeitenden im eigenen Tool zufällig ausgewählt und gelöscht, sodass man sich neu anmelden muss. Hierbei durchlebt man immer den Onboarding-Prozess, wie Account Erstellung, E-Mail-Validierung und Onboarding neuer User:
Like most products, Graphite aims for fast, bug-free, and painless onboarding. The best way for us to ensure this is to suffer through onboarding once every day ourselves.
Einmal im Monat wird dein Account dort also gelöscht, damit du selbst den Prozess durchlebst und permanent prüfst, wie du das eigene Produkt an der Stelle besser machen kannst. Man stellt so permanent sicher, dass der erste Kontaktpunkt für Neukunden möglichst painless ist.
Ich finde es einen interessanten Ansatz, der natürlich nicht überall möglich ist, aber sicher dafür sorgt, dass man verschiedenste Blickwinkel erhält.
Das Graphite Team möchte in Zukunft noch einen Schritt weitergehen und regelmäßig die ganze Graphite Organisation im eigenen Tool komplett löschen.
Citrix macht auf Broadcom
Über die Kostensteigerung bei VMware nach der Broadcom Übernahme hatte ich ja schon berichtet.
Das Modell scheint nun Schule zu machen, der Anbieter für virtuelle Desktop Infrastruktur Citrix hat laut diversen Berichten seine Preise auch deutlich angehoben.
In Borns IT und Windows Blog werden diverse Beispiele genannt, in denen die Lizenzen sich deutlich verteuern – für eine Klinik, die im Jahr 2022 noch 8.000 € pro Jahr für 100 Terminallizenzen bezahlte, werden nun 80.000 € für 18 Monate aufgerufen – kleiner Aufschlag, oder?
Vor 4,5 Wochen haben diverse Fachzeitschriften noch den Citrix XenServer als VMware Alternative angepriesen, bei diesem ist die Informationslage diffus. Für VDI Kunden gibt es eine Aktion, um für 3 Jahre an Lizenzen zu kommen – weitere Infos im Blog-Kommentar hier.
Massive Lizenzkostensteigerung: Kopiert Citrix jetzt auch den „Broadcom-Business-Ansatz“?
Schmunzelecke
Die MIT License kennst du ja bestimmt, aber wie findest du dir vorgesungene Variante der „Sad girl piano ball“ hier?
Auch witzig, die indische Python Script „Hello, World“ Variante.
💡 Link Tipps aus der Open Source Welt
k8spacket
Das Tool k8spacket kannte ich bisher noch nicht – dabei ist im Februar bereits Version 2.0 davon erschienen.k8spacket nutzt eBPF um TCP und Metadaten aller Connections in einem Cluster zu analysieren und in Grafana zu visualisieren.
Man sieht hierbei, welcher Pod aus welchem Namespace auf andere interne und externe Ressourcen zugreift. Zudem siehst du die Ports, verwendete TLS Version und die verwendete CipherSuite. Was du mit k8spacket sonst noch alles machen kannst, erklärt dieser Medium Artikel.
Installieren kannst du das Tool einfach über den Helm Chart.
https://github.com/k8spacket/k8spacket
Tinyssh – minimalistischer SSH Server in C
Tinyssh ist ein in C geschriebener SSH Server, der mit weniger als 100.000 Wörtern im Code auskommt (in der aktuellen Version mit 63899).
Dabei supported Tinyssh nur moderne Cipher und Key Methoden, und „unsichere Methoden“ wie Password oder host-based Authentication funktionieren auch nicht.
Alle Features findest du hier.
Wo kann man sowas brauchen? Irgendwo, wo man nur wenig Speicher zur Verfügung hat?
https://github.com/janmojzis/tinyssh
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: