allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Cloud Earnings: AWS, Azure und Google Cloud
Es ist wieder „Earnings Season“ und die 3 großen Cloud Provider – AWS, Microsoft Azure und Google Cloud – haben ihre Quartalsergebnisse veröffentlicht.
Anleger und Analysten waren von Amazon selbst eher enttäuscht, von AWS kann man das im Gegensatz nicht behaupten. Mit mehr als $16.11 Milliarden Umsatz und einer Steigerung von 39% gegenüber dem Vorjahres-Quartal konnte AWS die Erwartungen der Analysten sogar übertreffen. AWS macht damit knapp 15% des Gesamt-Umsatzes von Amazon aus. Das besondere im Vergleich zum Retail Geschäft: AWS operiert mit einer Marge von ungefähr 30%. Vielleicht sollten einfach ein paar Kunden ihre Managed NAT Gateways ausschalten?
Laut Angaben von Microsoft ist Azure inkl. Services über 50% im Vergleich zum Vorjahres-Quartal gewachsen. Microsoft weisst allerdings die Umsätze der Azure Cloud nicht in $ aus, sondern nur die Gesamt Umsätze in Höhe von $45,32 Milliarden.
Google Cloud konnte den Umsätze im Vergleich zum Vorjahres-Quartal um 44,9% auf $5 Milliarden erhöhen. Bei Google ist hier der Umsatz der G-Suite (GMail, Docs, Drive), dieser wird nicht separat ausgewiesen.
Da alle Anbieter ordentlich gewachsen sind, hat sich in den Marktanteilen in Summe kaum etwas verschoben. Nach Angaben von Statista ist AWS mit 39% Marktanteil weiterhin weit vor Azure (21%) und der Google Cloud (8%). Bei Gartner sehen die Zahlen für 2020 etwas anders aus: Hier steht AWS bei 40,8% Marktanteil, Microsoft bei 19,7% und Google bei 6,1%. Vermutlich hängt viel davon ab, ob und wie man Alibaba und Huawei zum Gesamtmarkt zählt….
Amazon Web Services tops analysts’ estimates on profit and revenue
Was bedeutet der Shift zu „Remote Work“ für Organisationen?
Zwei findige Autoren haben über ein Script alle Job Postings im monatlichen „Who’s hiring“ post sämtliche Postings nach der Nutzung des Begriffs „Remote“ durchsucht und damit eine interessante Statistik erstellt. Mittlerweile seien knapp 80% der Job-Postings „remote“ bezogen:
Kris schreibt im verlinkten Twitter Thread seine Erfahrungen zum Thema und beschreibt, wie das neue normal aussieht und was Firmen in Zukunft bieten müssten. Er greift bei seinen Argumenten auf einen Hacker News Thread zurück, in dem ein Amazon Mitarbeiter darlegt, warum er nach knapp 12 Jahren Amazon den Rücken kehrt.
The first announcement was „We can’t wait to be back in the office, and we know you can’t either“. Senior engineers started quitting. Then it was „Okay, okay, you can work from home 2-3 days per week, but only with your L10’s approval“. The exodus continued.
Im Management werde nicht verstanden, warum die Mitarbeiter nicht mehr wie früher arbeiten wollen, und das sei ein großes Problem. Natürlich ist hier viel auch auf amerikanische Verhältnisse und die dort horrenden finanziellen Unterschiede zwischen Stadt und Land zurückzuführen. Diese sind in Europa generell weniger ausgeprägt.
Allerdings ist bei uns auch nicht alles prima, Kris beschreibt daher in seinen Worten, was Firmen seiner Ansicht nach tun sollten:
- Kommunikation niederschreiben – Meetings, Ziele, Aufgaben – damit kann vieles auch asynchron verlagert werden („This meeting could have been an E-Mail“)
- Firmenkultur ist häufig zufällig entstanden – diese muss nun gestaltet und bewußt angepasst werden
- Ausstattung und Ideen für zu Home-Office – „Hier sind 2500 Euro, bau was richtiges. Wenn Du Ideen brauchst, hier ist eine Fotogalerie.“
- Regelmäßige, persönliche Treffen – verpflichtend und bis zu 4 Mal im Jahr
- Technische Dokumentation muss man lernen und lehren – das lernen die Mitarbeiter nicht nebenher, ggf. benötigt man Personen, die hauptberuflich „hinterherkehren“
Kris beschreibt ebenfalls, dass diese Methoden sehr viel günstiger seine, als mit 20+% Fluktuation umzugehen und Zeit und Geld für Hiring und Ausbildung auszugeben.
Aber die Leute die gehen, gehen weil sie gerade 2 Jahre lange bewiesen haben, daß sie die 1h-2h Commute am Tag nicht brauchen und Du das nicht glaubst.
Ja, vielleicht sollte man die Mitarbeiter mal fragen, was sie eigentlich wollen…
Für Firmen, die sich nicht sicher sind, was sie tun können – hilft vielleicht auch erstmal die Feststellung des „Status Quo“.
GitLab bietet dafür einen Selbsttest zu „12 Steps to Better Remote“ an. Dieser beinhaltet spannende Fragen wie:
- Are senior leaders remote by default?
- Is most communication about work done asynchronously?
- Are your values, and how to live them, explicitly defined and documented?
Mit dem Ergebnis des Tests kann man auch offen umgehen, wie Checkly beispielsweise mit der Veröffentlichung seines Test Ergebnisses zeigt.
Wie sieht bei euch das „neue Normal“ aus? Postet gerne eure Erfahrungen in den Kommentaren oder schreibt mir per E-Mail.
Sponsored
Dein Einstieg ins Cloud Engineering!
Als superluminar GmbH bieten wir Cloud Consulting für Unternehmen, Startups und Organisationen an. Unser Büro ist in Hamburg, wir arbeiten aber überwiegend remote.
Wir verstehen nicht nur die modernsten Technologien, wir schauen auch auf Menschen und Prozesse. So unterstützen wir Organisationen bei der Transition hin zu moderner Produktentwicklung. Ein Mit statt für euch ist dabei unser Motto. Zu unseren Kunden zählen z.B. Fielmann, Immowelt, MOIA und Dance, wir achten auf einen gesunden Mix zwischen Enterprise-Welt und Startups.
Als Junior Consultant Cloud Engineering (m/w/d) unterstützt du unsere Kunden bei dem Weg in und durch die AWS Cloud. Der Fokus liegt dabei auf Engineering-Beratung, Coaching und Trainings. Werkverträge, Arbeit nach Pflichtenheft oder Body-Leasing gibt es bei uns nicht. Gerne darfst du in Teilzeit arbeiten, dir ein Firmenfahrrad aussuchen und von nachhaltiger Betrieblicher Altersvorsorge sowie Kita-Zuschüssen profitieren.
Wie Pokemon Go seine Google Cloud Infrastruktur skaliert
Pokémon GO haben sicherlich viele von euch schon gespielt. Niantic, die Firma hinter Pokémon GO, wurde 2010 als Startup innerhalb von Google gegründet. Im Oktober 2015 wurde Niantic als separate Firma von Google herausgelöst und in einer Series A in Höhe von ca. $30 Millionen von Google, Nintendo und „The Pokekom Company“ unterstützt.
Im Google Cloud Blog gibt es nun Interview + Video mit James Prompanya, Senior Engineering Manager bei Pokémon GO, über die Herausforderungen bei der Skalierung der Pokémon GO Infrastruktur. Zu Peak Zeiten, Raids oder beim „GO Fest“, verarbeitet die Applikation bis zu 1 Million Transaktionen pro Sekunde. Pokémon GO nutzt hierbei die Google Kubernetes Engine und Cloud Spanner als Datenbank. Teilweise laufen über 5000 parallele Cloud Spanner Nodes für die Applikation, neben über tausenden Kubernetes Nodes wohlgemerkt. Die grobe Infrastruktur in einem Bild:
Pokémon GO erzeugt zwischen 5 und 10 TB pro Tag und speichert diese in BigQuery und BigTable.
Schaut man sich die Zahlen und Werte an, so frage ich mich, ob Niantic hier nicht einen Special Discount bekommt…
Cooler Einblick, so, und nun fang ich ein paar Pokémons mit meinem Sohn 😉
How Pokémon GO scales to millions of requests?
Event Daten Migration bei Spotify
Spotify ist bei seinen Engineering Herausforderungen sehr transparent. Die Google Cloud Migration von 2016 wird beispielsweise in 3 Teilen im Blog dargestellt (Teil 1, Teil 2 & Teil 3). Im Vergleich zu Pokémon GO verarbeitet Spotify beispielsweise um die 8 Millionen Events pro Sekunde und über 70TB pro Tag.
Spotify hatte im Laufe der Jahre seit der Migration diverse Herausforderungen bei der Event Delivery Infrastructure (EDI) festgestellt. Datenverlust bei Offline Hörern, UX Unstimmigkeiten und andere Herausforderungen führten dazu, dass man sich nicht immer auf alle erzeugten Daten verlassen konnte. Die OnPremise Infrastruktur bestand aus Hadoop Clustern, diese wollte man neu designen und in die Cloud umziehen. Im verlinkten Blog Beitrag beschreibt Spotify ausführlich die „Operation am offenen Herzen und die damit verbundenen Konsequenzen.
Nach einem Proof-of-Concept suchte man interne Alpha Tester für die neue EDI Pipeline. Über eine Data transformation Pipeline konnten „Legacy Clients“ an das neue System angebunden werden. Heute verarbeitet das neue System über 600 verschiedene Event Typen.
Immer wieder spannend, was hinter dem „einfachen Musik Streaming“ für Herausforderungen in der Praxis stecken.
Changing the Wheels on a Moving Bus — Spotify’s Event Delivery Migration
Let’s Encrypt Automatisierung bei OVH
OVH ist mit der OVHCloud und seinem Dedicated Server Angebot der größte Hosting Provider aus Europa.
Im verlinkten Artikel im Let’s Encrypt Blog beschreibt Guillaume Marchand, Technical Team Lead bei OVHcloud, wie OVH Let’s Encrypt für seine Kunden automatisiert anbietet.
OVH hatte anfangs überlegt, eine eigene CA zu bauen, sich dann aber für Let’s Encrypt mit eigener ACME Client Implementierung entschieden. Nach 6 Monaten Implementierung ging das Ganze live. Kunden können per Knopfdruck TLS Zertifikate für Ihre Web Anwendungen konfigurieren und müssen sich nicht um Renew und Co. kümmern.
Mittlerweile habe man über den beschriebenen Prozess diverse 10 Millionen Zertifikate ausgestellt – täglich über 10.000 Stück.
Let’s Encrypt listet mit Shopify einen weiteren Use-Case für eine Zertifikats-Automatisierung. Für Shopify hat Let’s Encrypt bisher über 4,5 Millionen Domains mit TLS Zertifikaten versorgt.
Sowohl Shopify als auch OVHCloud sind dauerhafte Sponsoren von Let’s Encrypt.
TLS Simply and Automatically for Europe’s Largest Cloud Customers
Sentry spendet 155.000$ an OpenSource
Der Error Tracking Anbieter Sentry verfolgt selbst noch immer ein „OpenSource“ Geschäftsmodell. Man kann die Anwendung selber hosten oder einfach die SaaS Variante verwenden.
Da der Betrieb von Sentry aufgrund der verteilten Architektur nicht so einfach ist, entscheiden sich viele für die SaaS Anwendung.
Für Sentry selbst ist die Open-Source Strategie Teil der Philosophie und Firmenkultur, ist die Software nicht damals selbst Open-Source gestartet und hat erst auf dem Weg zum endgültigen Produkt ihr Geschäftsmodell gefunden.
Sentry hat nun selbst beschlossen, in Zukunft regelmäßig an andere OpenSource Projekte zu spenden. Laut Studien profitiert jeder Entwickler von ca. 2000$ „Volunteer labor“ – freiwillige Arbeit von Dritten. Da Sentry 75 Mitarbeiter hat, spenden sie nun knapp über $150.000 an diverse Open-Source Projekte. Neben Python, Django und JavaScript erhalten auch die Projekte von PostgreSQL, Linux, Apache und Rust einen ordentlichen Anteil. Die meisten Spenden wurden direkt getätigt, knapp $40.000 erreichten die Projekte über GitHub Sponsors.
Ein schönes Zeichen und daran könnten sich viele ein Beispiel nehmen!
We Just Gave $154,999.89 to Open Source Maintainers
Wie funktioniert ein Object Storage?
Im Blog von lastweekinaws.com gibt es aktuell eine Serie über Storage Typen. Nach Block Storage und File Storage ist nun Object Storage dran. Wir erinnern uns – S3 als Object Storage war 2006 der erste Dienst, mit dem AWS an den Markt ging.
Ein Objekt Storage ist quasi unendlich skalierbar, dafür hat man Tradeoffs bei der Performance. Für die abgelegten Objekte, meist Videos, Bilder und andere größere Files ist dies aber kein Problem. Die Objekte werden in der Regel massiv parallel verteilt abgelegt und über Erasure Coding abgesichert.
Als User eines Object Storages interessiert einen das alles nicht, man spricht in der Regel über eine HTTP Schnittstelle mit einer Router Komponente, und was dahinter passiert, kann einem komplett egal sein. Bei AWS selbst ist das Pricing Thema mal wieder spannend, vor allem im Hinblick auf Traffic Kosten:
Viele warten daher gespannt auf den kürzlich von Cloudflare angekündigten Dienst „Cloudflare R2“. Einen günstigen Object Storage für Backups und Co. findet ihr bei Wasabi. Möchtet ihr das Thema erstmal ausprobieren oder selbst hosten, so schaut euch unbedingt Minio an. Lokal per Docker Container testen oder im Cluster selbst betreiben.
What is Object Storage? A Definition and Overview
Kostenloses Civo Cloud Kubernetes Tutorial
Der Kubernetes Cloud Anbieter Civo Cloud ist seit Anfang Oktober „General available“. Um die Popularität weiter zu steigern bieten die Kollegen nun ein kostenloses Kubernetes Tutorial an.
In über 50 Videos und Tutorials könnt im komplett kostenlosen Kurs die Grundlagen und Konzepte von Kubernetes, Container, Skalierung, Volumes und Security lernen. Wenn ich mich nicht verzählt habe könnt ihr auf über 5 Stunden kostenloses Material zugreifen. Natürlich könnt ihr das gelernte gleich mit Civo Cloud Credits anwenden und mit einem Cluster dort herumspielen.
Oder einfach mit minectl von Engin einen Minecraft Server deployen.
Learn Kubernetes with Civo Academy
Grafana OberservabilityCON im November
Kleiner Hinweis noch auf die kommende Grafana OberservabilityCON am 8.-10. November 2021.
Die Konferenz findet Remote statt und die Teilnahme ist kostenlos. „Kostenlos“ wieder im Sinne von „Gib mir deine Daten für Product related News“.
Beispielsweise gibt es einen Vortrag zur Integration von k6.io mit Grafana oder einen Kunden Vortrag von TomTom und deren Erfahrung mit der Grafana Cloud.
Schmunzelecke
„Lass uns das mal kurz automatisieren“ – Quelle: twitter.com
💡 Link Tipps aus der Open Source Welt
Ddosify – Open-Source Load-Testing Go
Bei Ddosify ist der Name Programm. Bisher ist das Tool komplett Open-Source und kann in der Kommandozeile via Docker, Homebrew und via Linux Packet Management installiert werden. Ddosify kann als einfache Alternative zu „ab“ verwendet werden. Zusätzlich könnt ihr Scenario basierte Tests mittels JSON Files starten.
Von der Aufmachung der Website her sieht es so aus, als gäbe es in der Zukunft die Möglichkeit, analog k6.io und loader.io Tests „aus der Cloud“ auf eigene Ziele zu schedulen.
https://github.com/ddosify/ddosify
Secretive – SSH Keys sicher speichern
Mit Secretive könnt ihr SSH Keys in der MacOS Secure Enclave speichern. Die Secure Enclave ist vom Hauptprozessor isoliert und ein dediziertes, sicheres Subsystem innerhalb des Apple Systems. Warum das Ganze?
Das ist deutlich sicherer, als die private Keys einfach in eurem Home Laufwerk abzuspeichern. Für die Sicherung müsst ihr an der Stelle noch selbst sorgen, da die Dateien in der Enclave nicht exportiert/gesichert werden.
https://github.com/maxgoedjen/secretive
tfsec – Security Scanner für Terraform
Tfsec von aqua security ist ein statischer Security Scanner für Terraform Code. Ihr bindet den Scanner lokal oder in eure CI/CD Pipeline ein und erhaltet Infos und Hinweise zur Behebung von Schwächen & Fehlern in eurem Terraform Code.
Neben AWS, Azure und GCP werden OpenStack, Digital Ocean und CloudStack mit Integrationen unterstützt.
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: