allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

492 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address

Diese E-Mail ist bereits registriert.

The security code entered was incorrect

Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.

Shopify: Beeindruckende Zahlen zum „Black Friday“

Shopify ist bekanntlich begeisterter Google Cloud Kunde. Zum Black Friday & Cyber Monday hat man nicht nur die Umsatzrekorde gebrochen, sondern auch sämtliche bisherigen Peaks in der Cloud. Auf Twitter teilt das Shopify Engineering Team unter @ShopifyEng ein paar eindrucksvolle Statistiken:

• 30TB pro Minute ausgehenden Traffic (egress) im Schnitt
• 43PB Traffic am Tag!
• MySQL Server Flotte mit über 11 Millionen Queries per Second (QPS) und 11 TB/second read I/O
• 8 GbiB/s Logdaten, die in Splunk verarbeitet wurden
• Storefront caching: 15PB Datentraffic
• 24 Milliarden asynchrone Tasks über das Wochenende
• 42 Milliarden API Requests beantwortet
• 11,67 Milliarden Webhooks ausgeführt

Die Zahlen sind sehr beeindruckend, das gesamte System lief mit „near-perfect“ uptime und vermittelte $6,3 Milliarden Umsatz an die Shopify Shop-Betreiber. Am Freitag betrug der Peak $3,1 Millionen pro Minute.

Man hatte im Juli schon mit den Performance Tests begonnen, im Schaubild sieht man schön den CPU Peak von 2020 im Vergleich zu 2021.

Weitere Teils und Hintergrundinformationen hierzu findet ihr im Google Cloud Techblog.
Danke an Nico für den Tip.

Twitter Shopify Eng

Kennt ihr noch De-Mail?

De-Mail war seiner zeit der Versuch, eine digitale Briefpost in der Bundesverwaltung zu etablieren.
So genau habe ich es nie verstanden, ihr vermutlich auch nicht.
Jedenfalls hat der Tagesspiegel ausgerechnet, dass jede versendete De-Mail 1083€ gekostet hat. Die Zahlen sind wirklich erschreckend, heise.de schreibt dazu:

Tatsächlich versandten die entsprechenden Behörden von 2016 bis 2019 nur 6000 De-Mails, wissen die Prüfer. Dies entsprach 0,1 Prozent des angenommenen Aufkommens. Die Einsparungen hätten 3500 Euro betragen.

Das hört sich jetzt noch deutlich schlimmer an wie sonst gescheiterte „Digital“ Projekte.

Habt ihr De-Mail schon mal genutzt?

„Ziele gänzlich verfehlt“: Bundesrechnungshof rügt De-Mail-Fiasko

AWS re:Invent 2021 in Las Vegas

In der letzten Woche fand in Las Vegas die AWS re:Invent statt, die Konferenz zu den Amazon Web Services.
Was gab es für Neuerungen?

• Graviton3 CPUs sind für EC2 verfügbar – 25% mehr Performance als bei Graviton2
• AWS IoT TwinMaker soll die Schaffung „digitaler Zwillinge“ erleichtern, beispielsweise von Gebäuden, Fabriken, Produktionslinien und mehr
• Mit AWS Private 5G soll man private 5G Netze einfacher bauen und betreiben können.
• Mainframe Modernization with AWS – Damit könnt ihr eure AS/400 Workload noch einfacher in die Cloud bringen (haha). Als Case Studies werden das Billing System der New York Times und ein COBOL System der US Air Force genannt.
  Das System gibt es ansich schon länger, nun soll das noch einfacher in JAVA transferiert werden können.
• Amazon SageMaker – Machine Learning as a Service für Data Scientists

AWS listet unter „Top Announcements of AWS re:Invent 2021“ viele weitere Neuerungen in diesem Jahr.

Die Neuheiten der AWS re:Invent-Konferenz

Kein neues Google Cloud RZ in Brandenburg

Google würde gerne ein neues Datacenter für die Google Cloud in Brandenburg bauen. Da man in Berlin und Brandenburg viele Kunden habe, wäre dies für die „Latenz, Verfügbarkeit und Ausfallsicherheit“ der richtige Schritt gewesen.
Allerdings hat der Wasserverband Strausberg Erkner (WSE) das Vorhaben nun erstmal abgelehnt.
Ein RZ in der Größe benötige bis zu 1,3 Millionen Kubikmeter Wasser pro Jahr – zu viel bei der aktuellen Wasserknappheit in der Region.

Alphabet darf kein Rechenzentrum bei Berlin bauen

Datev Ausfall vom 8.11.2021 analysiert

Ohne die Datev geht bei den Steuerberatern nicht mehr viel, umso schlimmer ist ein Ausfall aller Anwendungen, wie er am 8.11.2021 stattgefunden hat. Für fast einen Tag waren sämtliche Dienste nicht erreichbar oder massiv gestört.
Die Datev hat nun im Community Forum ein Post-Mortem veröffentlicht, und geht darin sogar auf Fragen der Community ein.
Ein ungewohnter, aber doch erfrischender und transparenter Umgang mit dem Thema Downtime.
Man gesteht sogar öffentlich Fehler ein, was ich persönlich super finde, denn nur so kann man sich auch wirklich verbessern:

Um es gleich vorwegzunehmen: Am langen Ende ist es uns nicht gelungen, die Situation über die komplette Verarbeitungskette richtig einzuschätzen.

Dies war die Frage auf den am Dienstag folgenden Ansturm, nachdem am Montags keine Belege verarbeitet werden konnten.
Die Ursache des Ausfalls war ein Problem mit einen zentralen IBM Datenbank, welcher nur mit der Unterstützung aus den USA gelöst werden konnte.
In der Community wurde auch die mangelnde Kommunikation während des Ausfalls bemängelt. Ein Unglück kommt eben selten allein, die Datev Mitarbeiter konnten ihre Statusseite ebenfalls aufgrund einer Störung nicht aktualisieren. Auch hier geht der Community Support detailliert auf geplante Verbesserungen und Prozessänderungen ein.
Interessantes Detail am Rande:

Zum anderen waren durch den unvermittelten abrupten Ansturm auf den RZ-Status auch bei unserem Webhoster die Server zusammengebrochen. Auch dazu sind wir in Gesprächen.

Wenn alles funktioniert, wird die Status Seite eben sehr wenig frequentiert besucht. Was lernen wir daraus?
Auch die Status-Seite sollte man regelmäßig einem Lasttest unterziehen und den Prozess zur Veröffentlichung trainieren und hinterfragen.

Datev: Verkettung zweier Software-Fehler war Schuld am Komplettausfall

Codecentric und IONOS bieten „Managed GitLab“ an

Der Cloud Anbieter IONOS und der Software Dienstleister Codecentric bieten ab 2022 einen gemeinsamen „Managed GitLab“ Service an.

Entwickler sollen ihre Projekte von Beginn an in einer sicheren Umgebung vorantreiben können. Sie müssen sich keine Sorgen um DSGVO-Konformität machen oder darüber, ob ihre Ideen sicher vor dem Zugriff ausländischer Akteure sind

Peter Prahl, SVP Digital and International Sales bei IONOS Cloud

Man möchte in Zukunft auf Basis dieser Partnerschaft weitere gemeinsame PaaS Produkte launchen, wie beispielsweise ein modernes API-Management Tool oder auch die von Codecentric entwickelte, KI-basierte Dokumentenverwaltung SHERLOQ.
Details zum Angebot gibt es aktuell noch keine.

codecentric und IONOS werden strategische Partner

Übersicht über verfügbare AWS Services pro Region

AWS stellt mittlerweile über 290 Services zur Verfügung. Nicht alle Services sind überall verfügbar, teilweise ist die Verfügbarkeit sogar ziemlich durcheinander, wenn man sich die Details anschaut.
Viele zentrale Dienste sind nur in „us-east-1“ verfügbar, wie auch neue gelaunchte Dienste.

Unter awsservices.info findet ihr eine Übersicht der Services pro Region, damit ihr eure Infrastruktur auch sauber planen könnt.
Interessant ist noch der Hinweis:

Note: Just because a service is listed as being available in a region does not mean that every part or every feature of a service is available in that region.

Herrlich 🙂
Im Link unten sind die „Gov-Cloud“ Regionen ausgeblendet, sonst wird es komisch.

AWS Services Übersicht

Schmunzelecke

Na, wer hat auch eine Kabel-Krustelkiste mit T-Stücken, Terminatoren und anderem Zeug, dass ihr für „irgendwann“ mal aufbewahrt? Auf Ebay kann man die auch einfach so verkaufen.

Danke an Oskar für den Tip.

💡 Link Tipps aus der Open Source Welt

Blueboat – OpenSource Cloudflare Workers

Die Cloudflare Workers sind das serverless Angebot von Cloudflare am Edge der Plattform. Blueboat ist die Open Source Alternative hierzu und kann von euch einfach selbst betrieben werden. Alternativ kann man auch den Managed Service von Blueboat verwenden – dieser ist aktuell noch im Alpha Status.
Für den Betrieb von eigenen Blueboat Instanzen benötigt man Docker, ein S3 Bucket (bsp. mit minio), eine MySQL Instanz und Optional ein Kafka Service für Logs.

https://github.com/losfair/blueboat

Cheat – Interaktives Cheat Sheet für das Terminal

Mit Cheat könnt ihr euch auf der Kommandozeile Beispiele für Kommandos ausgeben, falls ihr euch an die genaue Syntax oder Parameter eines Commands nicht mehr erinnert. Beispiel mit tar:

cheat tar

# To extract an uncompressed archive:
tar -xvf ‚/path/to/foo.tar‘

# To extract a .gz archive:
tar -xzvf ‚/path/to/foo.tgz‘

# To create a .gz archive:
tar -czvf ‚/path/to/foo.tgz‘ ‚/path/to/foo/‘

Cheat wird einfach per GO installiert und kann dann mit YAML files erweitert werden.

https://github.com/cheat/cheat

fck-nat: AWS NAT Instance Gateway

Das fck-nat ist ein „Feasible cost konfigurable NAT“ und hat nichts damit zu tun, was ihr jetzt gedacht habt, oder vielleicht doch?
Wie wir alle wissen sind die „Managed NAT Gateways“ bei AWS sehr teuer.
Dazu sind die Images seit 2018 nicht mehr aktualisiert worden. Mit fck-nat könnt ihr euch ein NAT Gateway selber bauen oder euren Bastion Host dafür verwenden.
Preisvergleich:

• Managed NAT Gateway pro Stunde: $0.045
• t4g.nano pr Stunde: $0.0042

• Managed NAT Gateway pro GB: $0.045
• fck-nat pro GB: $0.00

Limitierung aktuell: Noch kein HA-Mode, 5Gbps Limitierung von EC2.
Trotzdem habt ihr mit 10% der NAT Gateway Kosten tolles Sparpotenzial.

https://github.com/AndrewGuenther/fck-nat

❓ Feedback & Newsletter Abo

Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.

Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

492 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address

Diese E-Mail ist bereits registriert.

The security code entered was incorrect

Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.