Willkommen zu allesnurgecloud.com – Ausgabe #140!
Und guten Morgen, falls du den Newsletter tatsächlich am Sonntagmorgen liest.
Warst du auf der KubeCon in Paris?
Ich leider nicht – falls du warst – was waren deine Highlights?
Die angekündigten AI Themen? Die neuen Kurse der CNFC?
Grundsätzlich das Konferenzfeeling und die Location in Paris?
Freue mich über Feedback oder Links zu Artikeln mit einem Summary der Konferenz – danke!
Happy Bootstrapping Podcast
In dieser Woche hatte ich den Peter Frank von der All-in-One Equipment Vermietung Fleet.co zu Gast. Bei Fleet bekommst du „Devices as a Service“ inklusive Device Management Software. Fleet ist ein bootstrapped Start-up aus Frankreich, das nun die Expansion in Europa mit dem Launch in Deutschland startet.
Interessant fand ich zudem seine Zahlen zu Windows vs. Mac aus der Sicht des IT-Supports (Beitrag auf LinkedIn zum Thema).
allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Stripe: 6 Milliarden API Tests pro Tag
Wusstest du, dass der Payment Anbieter Stripe mittlerweile über 1 Billion Euro Volumen pro Jahr prozessiert?
Im „Stripe Anual Letter“ gibt es für 2023 (PDF) ein paar super spannende Zahlen, vor allem aus technischer Sicht:
- Die SDKs von Stripe unterstützten 42 Sprachen und 236 regionale Adressformate
- Im letzten Jahr alleine wurden 50 neue Zahlungsarten hinzugefügt – damit supported Stripe nun über 100 Zahlarten
- Payment Links sind 300ms schneller geworden – was für eine bessere Conversion sorgt – 300ms, optimieren lohnt sich also
Spannend wird es dann auf Seite 6, im Bereich „How we engineer for reliability“.
- am Black Friday/Cyber Monday 2023 erreichte Stripe eine Uptime von 99,999% – und vermittelte über die 4 Tage mehr als 18,6 Milliarden $
- Stripe deployt eine typische „Core API“ 400-mal am Tag
- Davor laufen 1,4 Millionen Tests auf über 500.000 CPU Cores – Stripe führt in Summe 6 Milliarden API Tests pro Tag aus
- die Tests sind zuerst einfache Tests, dann Unit-Tests und am Ende Integration Tests – einfache Fehler sollen so früh wie möglich erkannt werden
- Änderungen werden zuerst auf ein pre-production Environment ausgerollt, das mit typischem, aber dennoch synthetischem API Traffic getestet wird
- Production rollouts erfolgen „Canary“ auf eine Maschine, dann auf 0,5%, dann 1%, dann 5% und dann 20% der Hosts
- Jeder Rollout wird von einem Metric System supportet, das 55.000 unterschiedliche Metriken betrachtet und bei Abweichungen Hosts mit neuem Code automatisch aus der Verteilung entfernt
- trotz dieser ganzen Tests und Systeme gibt es im Schnitt 520 on-call alerts pro Tag.
Stripe hatte 2022 übrigens ungefähr 8000 Mitarbeitende, nach einem Layoff in 2022 sind es laut diversen Quellen jetzt noch um die 6700-7000 Angestellte, die unter anderem diese Services betreiben und Tests dafür schreiben.
Cloud Verband CISPE kritisiert VMware
Der Cloud Verband CISPE (Cloud Infrastructure Service Providers in Europe) kritisiert Broadcoms neue „aufgezwungene Lizenzbedingungen“ und weisst auf mögliche Gefahren für die europäische Cloud-Infrastruktur hin.
Außerdem sei für viele Hersteller unklar, wie die Lizenzen in Zukunft bezogen werden können:
Cloud services vendors and customers are left in limbo, without clarity as to how, when, or if they will be able to license VMware software from 1st April 2024.
Mitglieder von CISPE berichtet zudem von 12-mal so hohen Lizenz-Gebühren wie bisher. Diverse Mitglieder seien zudem von den VMware Lizenzen abhängig oder machen 75 % der Umsätze mit den Lizenzen, die sie in Zukunft vielleicht nicht weiter vertreiben dürfen. Zusätzlich müssen Kunden teilweise 3-Jahresverträge abschließen, damit sie überhaupt eine Subscription bekommen:
Those that are invited feel pressured into accepting unfair licensing terms by the short deadlines imposed to sign. New terms include minimum commitments amounting to tens of millions of Euros over three-year periods. Costs for licences have increased by a factor of twelve (i.e. 1,200 per cent) in some cases.
In Umgebungen wie beispielsweise der Medizin-Branche seien die Kunden auf zertifizierte Umgebungen angewiesen und hier führe kein Weg an VMware vorbei – VMware nutze hier zudem seine Marktmacht aus. Der CISPE fordert die EU nun auf, eine Einstufung von VMware/Broadcom als Gatekeeper im Sinne des Digital Markets Act einzustufen (zuletzt hat es hie den App Store von Apple getroffen).
Mal schauen, ob die EU in diesem einschreitet und wie genau die Reaktion ausfallen wird.
Europäische Cloud-Provider: Broadcom treibt Unternehmen in den Bankrott
Anzeige
8gears Container Registry
Container Images unterscheiden sich deutlich von anderen Artefakten hinsichtlich ihrer ständigen Verfügbarkeit.
Im Gegensatz zu NPM oder JAR Artefakte müssen Container Images für den operativen Betrieb der Anwendung durchgehend verfügbar sein. Auch sollte die Registry nicht auf den gleichen Clustern laufen wie die Anwendungen, um den MTTR (mean time to recovery) möglichst kurzzuhalten. Selbstverständlich sollte die Registry hochverfügbar ausgelegt werden, mit ansprechenden Datenbanken und Buckets.
Wenn es bloß jemanden gäbe, der das Ganze für einen übernehmen könnte?
Die 8gears Container Registry ist ein Harbor-basierte Container-Registry Service. Angeboten und betrieben von Harbor Projektbetreuern und Mitwirkenden.
Hochverfügbar in verschiedenen EU Datenzentren ganz in deiner Nähe.
Nvidia Blackwell GPUs und AI Infrastruktur von Meta
Während viele Firmen Probleme haben, überhaupt die Finger an die aktuellen Nvidia Generation der H100 GPUs zu bekommen, hat Nvidia CEO Jensen Huang am letzten Montag die neue Chip-Generation „Blackwell“ inkl. passender Software vorgestellt.
„Blackwell“ ist hierbei der Name der Plattform selbst, die ersten Karten sollen GB200 heißen, das steht für „Grace Blackwell Superchip“. Die beiden B200 Grafikprozessoren werden von einem ARM Central Processing Unit gesteuert. GB200 soll eine Leistung von 20 petaflops erreichen – H100 hingegen erreichte mit 4 petaflops nur ein Fünftel der Blackwell Leistung.
Bei AWS soll man an einem Server Cluster mit 20.000 GB200 Chips arbeiten, so Huang. Was der Spaß kosten soll, ist bisher nicht veröffentlicht worden.
Anfang März hatte Meta in einem Blog-Artikel die zukünftige AI Infrastruktur des Konzerns vorgestellt. Meta wird 2 AI Cluster mit je 24.000 GPUs bauen, die für das Llama 3 Training und verschiedene andere AI Workload verwendet werden sollen.
Meta nutzt als Hardware Basis die Open Compute Plattform „Grand Teton“, das „Open Rack“ Design und PyTorch.
Laut eigenen Angaben möchte Meta bis zum Ende des Jahres 2024 eine AI Infrastruktur mit über 350.000 NVIDIA H100 GPUs bereitstellen.
Irgendwie scheinen die großen, die auch das Kapital haben, viel Hardware zu ordern und zu betreiben, hier die Nase ordentlich vorn zu haben. Ich bin mal gespannt, wie die Verteilung und Verfügbarkeit der neuen Plattform laufen wird und welche Nachteile die kleinen Besteller haben werden.
Nvidia CEO Jensen Huang announces new AI chips: ‘We need bigger GPUs’
VMware Alternative Incus auf LXD Basis
Als eine weitere Alternative zu VMware hatte Kai hier im Blog Incus gemeldet. Incus ist eine in Go geschriebene Community getriebene Alternative zu LXD. Incus wurde im August 2023 announced und ist in Version 0.6. verfügbar. Du kannst Incus online hier ausprobieren – oder auch einfach selber installieren.
Local ausprobieren kannst du Incus ebenfalls – es gibt hier eine umfangreiche „Getting started“ Dokumentation.
Natürlich ist hier „VMware Alternative“ etwas übertrieben, da das System sehr leichtgewichtig ist und eine Vielzahl der VMware Features fehlen.
Trotz aller Leichtigkeit gibt es eine Cluster-Variante von Incus, die mindestens einen „Boostrap“ Server und 2 weitere Cluster Nodes benötigt. Die Daten werden in einer cowsql Datenbank verteilt, die ebenfalls eine sehr leichtgewichtige und hochverfügbare Lösung auf Basis von SQLite ist.
Als Storage im Cluster kannst du ein verteiltes Storage auf ZFS Basis verwenden – dann können Instanzen auch zwischen den Incus Servern verschoben werden.
Ein Live-Migration Feature gibt es ebenfalls, aber mit ein paar Einschränkungen.
Incus: Powerful system container and virtual machine manager
Redis ist nicht mehr Open Source
Und auch bei Redis gab es zum 20. März ein überraschendes Announcement – Redis veröffentlich zukünftige Versionen nicht mehr unter der BSD (Berkeley Software Distribution) Lizenz, sondern unter einer Dual-License – der Redis Source Available License (RSALv2) und der Service Side Public License (SSPLv1), die wir auch schon vom MongoDB kennen.
Im Redis Blog erklärt Redis-CEO Rowan Trollope, dass man bereits bei Redis Stack gute Erfahrungen mit dem Lizenzwechsel gemacht habe und die Lizenzierung nun deshalb auf den Redis Core ausweite:
In fact, more than 50% of redis.io downloads – from Redis 6 and beyond – come from Redis Stack. We now believe that extending this licensing to Redis itself will enable us to continue to evolve the most holistic set of data models, processing engines, and developer capabilities for our users.
Der Lizenzwechsel ist im Redis default branch „unstable“ bereits erfolgt und soll mit dem Release der nächsten Redis Version 7.4 live gehen.
Für Entwickler, Kunden und Partner soll sich nichts ändern – Cloud-Anbieter, die Redis nutzen, um damit ein PaaS Angebot bereitzustellen, müssen nun auf Redis zugehen und eine Lizenzvereinbarung schließen.
Im Azure Blog gab es die erste Stellungnahme zum Wechsel der Lizenz und dem Einfluss auf die Produkte „Azure Cache for Redis“ und „Azure Cache for Redis Enterprise“. Da Microsoft schon eine Partnerschaft mit Redis habe, ändere sich für die Microsoft Azure Kunden erstmal gar nichts. Es gibt weiterhin Updates und neue Features – weitere Fragen und Antworten in der FAQ.
AWS schrieb im Oktober 2023 noch im Blog, dass man der drittgrößte Contributor des Redis Projekts sei – eine Reaktion auf das Redis Announcement gibt es bisher nicht:
Amazon ElastiCache for Redis is a managed open source service built on open source Redis. Amazon is the third largest contributor to Redis and employs two active contributors, one of whom is also one of five maintainers.
Bei Hacker News wird schon fleißig spekuliert, ob sich eine „Koalition der Willingen“ findet, ähliche wie es bei HashiCorp und Terraform geschehen ist.
Im Grunde ist Redis ja ein Standard für KeyValue Store geworden, ähnlich wie S3 für Object Storage. Auch bei Redis gibt es alternative Angebote, wie beispielsweise das eigenständige Projekt Dragonfly oder auch KeyDB, dass seit der Übernahme durch Snap! ein eigenständiges Open-Source-Projekt ist (aber auch ohne Release seit dem Oktober 2023)
Ich denke, das Thema wird nun vor allem PaaS und Cloud-Anbieter aus der zweiten und dritten Reihe treffen und ich bin mal gespannt, ob es einen weiteren Fork geben wird.
Redis Adopts Dual Source-Available Licensing
Supabase als Open Source Firma
Im Gegensatz zu Redis setzt man bei der Firebase Alternative Supabase weiterhin auf Open Source. Ant Wilson, CTO und Co-Founder von Supabase, veröffentlichte schon 2022 einen interessanten Artikel zu den Vorteilen von „Open Source“.
- Das Sicherheitslevel von Open-Source-Software sei viel höher, da Exploits früher und schneller gefunden werden. Sicherheitsforscher würden zudem häufig (auch anonym) Hinweise und Patches für Sicherheitslücken liefern
- Teilt man die Ideen und die Roadmap des Produkts mit der Community, so entsteht durch eine Vielzahl an verschiedenem Input ein besseres Produkt und man kann sich auf die Weiterentwicklung konzentrieren – und muss nicht etwas, Ideen und Meilensteine mit vielleicht nur potenziellen Kunden abstimmen
- Mit Open Source entsteht eine „Communty of Experts“ automatisch
- eine „Winner takes it all“ Situation ist unwahrscheinlich – konzentriere man sich auf seine Nische und ist darin schnell, so kann dies ein toller Wettbewerbsvorteil sein
Bei Supabase selbst sei zudem der Hiring Prozess neuer Entwickler dank Open Source viel einfacher gewesen. Die ersten 32 Entwickler wurden von den Contributoren oder aus der Community eingestellt. Ein Outbound Hiring Prozess war daher gar nicht nötig.
Jetzt hat Supabase heute um die 65 Mitarbeitende, Redis hingegen über 500 – so richtig vergleichen kann man das also nicht – trotzdem listet Ant Wilson valide und interessante Punkte für eine etwas andere Firmenphiliosophie.
Should I Open Source my Company?
In Europa gibt es keine „Cookie Banner“ Vorschrift
Ja, in den letzten Jahren haben wir sie alle lieben gelernt, die verschiedenen Cookie-Banner, die uns auf diversen Seiten erst einmal anschreien.
Im Zuge der Regulierungen der EU („Digital Markets Act“, Apple, etc.) hat Star-Investor und Y-Combinator Gründer Paul Graham der EU nun vorgeworfen, dass sie in Regulierung ja nicht gut sei, sonst gäbe es ja keine Cookie-Banner:
How can the EU claim that it’s good at regulation when we still have cookie warnings?
If they wanted to create an ad campaign to convince everyone they were bad at regulation, they couldn’t do better.
Stephan Schmidt, Autor von AmazingCTO, hat darauf eine einfache Antwort: „Dear Paul Graham, there is no cookie banner law“.
Und natürlich ist das korrekt, die Cookie-Banner sind halt eine Lösung auf das Tracking Problem, aber nicht die Einzige. Dass viele Firmen dies so umgesetzt haben und sich hier nun eine ganze „Cookie-Banner“ Software-as-a-Service Industrie gegründet hat, liegt an den Firmen selbst, die halt einfache Lösungen für das Problem suchen.
Man könnte ja auch einfach selbst serverseitig tracken, gar nicht tracken, „Do not Track“ Header respektieren oder sich eine hübschere Lösung ausdenken.
Ironischerweise hat der Artikel von Stephan es zu den HackerNews (von y-combinator) Top-News geschafft und dort über 600 Kommentare erhalten.
Stephan selbst hat dort auch kommentiert und erklärt, was das eigentliche Problem und die Intention der nervigen Cookie-Banner ist:
The article tries to make the point (perhaps fails), that companies do this intentionally to get the „consent“ of people against their will, therefor running the tight line of breaking the law without breaking it.
Dear Paul Graham, there is no cookie banner law
GitLab 16.10 veröffentlicht
GitLab wurde in Version 16.10 und mit 90+ Verbesserungen veröffentlicht.
Ein paar Highlights:
- Im CI/CD Katalog ist nun Semantic Versioning verfügbar
- Im GitLab Wiki sind nun endlich Templates verfügbar – Templates selbst sind Wiki Pages, die dann im Wiki für neue Pages verwendet werden können
- In der SaaS Variante von GitLab ist in der Ultimate Version nun ein DevOps Analytics Report auf Basis von ClickHouse verfügbar
- GitLab Runner können nun über Geo Proxies in lokaler Nähe genutzt werden – Details in der GitLab Dokumentation
- In allen GitLab Versionen sind nun Custom Payloads für Webhooks verfügbar
- Service Desk Tickets können nun auch per UI und API erstellt werden – vorhandene Issues kannst du einfach umwandeln
- Die Sign-in Page wurde optisch etwas überarbeitet und supportet nun den Dark-Mode – hat man sich beim Google Login abgeschaut 😉
Für das nächste Release 16.11 gibt es schon ein Kick-Off Video auf der Upcoming Releases Page bei GitLab.
Schmunzelecke
„Company forgets why they exist after 11-week migration to Kubernetes“ – der Artikel ist von 2020 und natürlich Ironie, aber irgendwie scheint da doch was dran zu sein.
Auf Hacker News wurde er Anfang März erneut geteilt und hat über 100 Kommentare erhalten, unter anderem diesem hier:
At $dayjob we are in the middle of such a migration, started 2 years ago and still less than 30% complete. Now, the guys that were most vocals about „we must go Kubernetes, kill the Monolith“ etc are already playing with LLMs, and forgot about Kubernetes.
💡 Link Tipps aus der Open Source Welt
Planka – Open Source Kanban Board
Planka ist eine Open Source Alternative zu Trello und ermöglicht ein einfaches Projekt Tracking im Kanban Stil.
Du kannst User anlegen, Tasks assignen, Projekte erstellen, Boards und Labels und die Tasks sogar mit Attachments, Kommentaren und „Due Dates“ verstehen.
Single Sign-On gibt es auch – via OpenID Connect. Planka ist mit React gebaut und benötigt eine PostgreSQL für die Speicherung der Daten.
Installieren und selber hosten kannst du Planka via Docker oder in K8s mittels Helm Chart.
Online Demo zum Ausprobieren gibt es ebenfalls hier – nicht schlecht, oder?
https://github.com/plankanban/planka
DBeaver – Multi-Plattform Database Client
DBeaver ist eine Multiplattform und kostenloser Client für diverse Datenbanken. Der Client ist auf Basis von Eclipse gebaut und unterstützt in der kostenlosen Version sämtliche Datenbanken, die einen JDBC Client haben.
Non-JDBC Datenbanken wie beispielsweise Redis, BigTable, Cassandra, Couchbase, MongoDB oder auch AWS Aurorare, AWS Redishift, Azure Cosmos DB oder Google BigQuery funktionieren nur mit der Commercial-Version des Clients. Alle supporteten Datenbanken findest du hier.
Aktuell wurde die Version 24.0.0 veröffentlicht – den Client gibt es also schon länger.
https://github.com/dbeaver/dbeaver
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: