allesnurgecloud #46 – Shopify Black Friday, De-Mail, AWS re:invent, Datev Ausfall und mehr.

allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
FĂŒr weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

492 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address
Diese E-Mail ist bereits registriert.
The security code entered was incorrect
Vielen Dank fĂŒr Deine Anmeldung - bitte den Opt-In bestĂ€tigen.

Shopify: Beeindruckende Zahlen zum „Black Friday“

Shopify ist bekanntlich begeisterter Google Cloud Kunde. Zum Black Friday & Cyber Monday hat man nicht nur die Umsatzrekorde gebrochen, sondern auch sÀmtliche bisherigen Peaks in der Cloud. Auf Twitter teilt das Shopify Engineering Team unter @ShopifyEng ein paar eindrucksvolle Statistiken:

  • 30TB pro Minute ausgehenden Traffic (egress) im Schnitt
  • 43PB Traffic am Tag!
  • MySQL Server Flotte mit ĂŒber 11 Millionen Queries per Second (QPS) und 11 TB/second read I/O
  • 8 GbiB/s Logdaten, die in Splunk verarbeitet wurden
  • Storefront caching: 15PB Datentraffic
  • 24 Milliarden asynchrone Tasks ĂŒber das Wochenende
  • 42 Milliarden API Requests beantwortet
  • 11,67 Milliarden Webhooks ausgefĂŒhrt

Die Zahlen sind sehr beeindruckend, das gesamte System lief mit „near-perfect“ uptime und vermittelte $6,3 Milliarden Umsatz an die Shopify Shop-Betreiber. Am Freitag betrug der Peak $3,1 Millionen pro Minute.

Man hatte im Juli schon mit den Performance Tests begonnen, im Schaubild sieht man schön den CPU Peak von 2020 im Vergleich zu 2021.

Weitere Teils und Hintergrundinformationen hierzu findet ihr im Google Cloud Techblog.
Danke an Nico fĂŒr den Tip.

Twitter Shopify Eng

Kennt ihr noch De-Mail?

De-Mail war seiner zeit der Versuch, eine digitale Briefpost in der Bundesverwaltung zu etablieren.
So genau habe ich es nie verstanden, ihr vermutlich auch nicht.
Jedenfalls hat der Tagesspiegel ausgerechnet, dass jede versendete De-Mail 1083€ gekostet hat. Die Zahlen sind wirklich erschreckend, heise.de schreibt dazu:

TatsĂ€chlich versandten die entsprechenden Behörden von 2016 bis 2019 nur 6000 De-Mails, wissen die PrĂŒfer. Dies entsprach 0,1 Prozent des angenommenen Aufkommens. Die Einsparungen hĂ€tten 3500 Euro betragen.

Das hört sich jetzt noch deutlich schlimmer an wie sonst gescheiterte „Digital“ Projekte.

Habt ihr De-Mail schon mal genutzt?

„Ziele gĂ€nzlich verfehlt“: Bundesrechnungshof rĂŒgt De-Mail-Fiasko

Anzeige

Shop am Black Friday ĂŒberlastet? We Manage hilft.

Dein Shop, SaaS Angebot oder Website waren am Black Friday/Cyber Monday ĂŒberlastet und Du weisst nicht genau warum?
Wir helfen Dir bei der Suche nach Bottlenecks, bei Lasttests und bei der Hochlast-Optimierung deiner Webapplikation.

Schau Dir gerne mal unsere Leistungen oder unsere Case Studies an, wie beispielsweise die TV und DHDL Optimierung fĂŒr Cropfiber/Asphaltkind, die wir in diesem Jahr gemacht haben.

Interessiert? Lerne uns in einem 15 Minuten Video-Call kennen.

AWS re:Invent 2021 in Las Vegas

In der letzten Woche fand in Las Vegas die AWS re:Invent statt, die Konferenz zu den Amazon Web Services.
Was gab es fĂŒr Neuerungen?

  • Graviton3 CPUs sind fĂŒr EC2 verfĂŒgbar – 25% mehr Performance als bei Graviton2
  • AWS IoT TwinMaker soll die Schaffung „digitaler Zwillinge“ erleichtern, beispielsweise von GebĂ€uden, Fabriken, Produktionslinien und mehr
  • Mit AWS Private 5G soll man private 5G Netze einfacher bauen und betreiben können.
  • Mainframe Modernization with AWS â€“ Damit könnt ihr eure AS/400 Workload noch einfacher in die Cloud bringen (haha). Als Case Studies werden das Billing System der New York Times und ein COBOL System der US Air Force genannt.
    Das System gibt es ansich schon lÀnger, nun soll das noch einfacher in JAVA transferiert werden können.
  • Amazon SageMaker â€“ Machine Learning as a Service fĂŒr Data Scientists

AWS listet unter â€žTop Announcements of AWS re:Invent 2021“ viele weitere Neuerungen in diesem Jahr.

Die Neuheiten der AWS re:Invent-Konferenz

Kein neues Google Cloud RZ in Brandenburg

Google wĂŒrde gerne ein neues Datacenter fĂŒr die Google Cloud in Brandenburg bauen. Da man in Berlin und Brandenburg viele Kunden habe, wĂ€re dies fĂŒr die „Latenz, VerfĂŒgbarkeit und Ausfallsicherheit“ der richtige Schritt gewesen.
Allerdings hat der Wasserverband Strausberg Erkner (WSE) das Vorhaben nun erstmal abgelehnt.
Ein RZ in der GrĂ¶ĂŸe benötige bis zu 1,3 Millionen Kubikmeter Wasser pro Jahr – zu viel bei der aktuellen Wasserknappheit in der Region.

Alphabet darf kein Rechenzentrum bei Berlin bauen

Datev Ausfall vom 8.11.2021 analysiert

Ohne die Datev geht bei den Steuerberatern nicht mehr viel, umso schlimmer ist ein Ausfall aller Anwendungen, wie er am 8.11.2021 stattgefunden hat. FĂŒr fast einen Tag waren sĂ€mtliche Dienste nicht erreichbar oder massiv gestört.
Die Datev hat nun im Community Forum ein Post-Mortem veröffentlicht, und geht darin sogar auf Fragen der Community ein.
Ein ungewohnter, aber doch erfrischender und transparenter Umgang mit dem Thema Downtime.
Man gesteht sogar öffentlich Fehler ein, was ich persönlich super finde, denn nur so kann man sich auch wirklich verbessern:

Um es gleich vorwegzunehmen: Am langen Ende ist es uns nicht gelungen, die Situation ĂŒber die komplette Verarbeitungskette richtig einzuschĂ€tzen.

Dies war die Frage auf den am Dienstag folgenden Ansturm, nachdem am Montags keine Belege verarbeitet werden konnten.
Die Ursache des Ausfalls war ein Problem mit einen zentralen IBM Datenbank, welcher nur mit der UnterstĂŒtzung aus den USA gelöst werden konnte.
In der Community wurde auch die mangelnde Kommunikation wĂ€hrend des Ausfalls bemĂ€ngelt. Ein UnglĂŒck kommt eben selten allein, die Datev Mitarbeiter konnten ihre Statusseite ebenfalls aufgrund einer Störung nicht aktualisieren. Auch hier geht der Community Support detailliert auf geplante Verbesserungen und ProzessĂ€nderungen ein.
Interessantes Detail am Rande:

Zum anderen waren durch den unvermittelten abrupten Ansturm auf den RZ-Status auch bei unserem Webhoster die Server zusammengebrochen. Auch dazu sind wir in GesprÀchen.

Wenn alles funktioniert, wird die Status Seite eben sehr wenig frequentiert besucht. Was lernen wir daraus?
Auch die Status-Seite sollte man regelmĂ€ĂŸig einem Lasttest unterziehen und den Prozess zur Veröffentlichung trainieren und hinterfragen.

Datev: Verkettung zweier Software-Fehler war Schuld am Komplettausfall

Codecentric und IONOS bieten „Managed GitLab“ an

Der Cloud Anbieter IONOS und der Software Dienstleister Codecentric bieten ab 2022 einen gemeinsamen „Managed GitLab“ Service an.

Entwickler sollen ihre Projekte von Beginn an in einer sicheren Umgebung vorantreiben können. Sie mĂŒssen sich keine Sorgen um DSGVO-KonformitĂ€t machen oder darĂŒber, ob ihre Ideen sicher vor dem Zugriff auslĂ€ndischer Akteure sind

Peter Prahl, SVP Digital and International Sales bei IONOS Cloud

Man möchte in Zukunft auf Basis dieser Partnerschaft weitere gemeinsame PaaS Produkte launchen, wie beispielsweise ein modernes API-Management Tool oder auch die von Codecentric entwickelte, KI-basierte Dokumentenverwaltung SHERLOQ.
Details zum Angebot gibt es aktuell noch keine.

codecentric und IONOS werden strategische Partner

Übersicht ĂŒber verfĂŒgbare AWS Services pro Region

AWS stellt mittlerweile ĂŒber 290 Services zur VerfĂŒgung. Nicht alle Services sind ĂŒberall verfĂŒgbar, teilweise ist die VerfĂŒgbarkeit sogar ziemlich durcheinander, wenn man sich die Details anschaut.
Viele zentrale Dienste sind nur in „us-east-1“ verfĂŒgbar, wie auch neue gelaunchte Dienste.

Unter awsservices.info findet ihr eine Übersicht der Services pro Region, damit ihr eure Infrastruktur auch sauber planen könnt.
Interessant ist noch der Hinweis:

Note: Just because a service is listed as being available in a region does not mean that every part or every feature of a service is available in that region.

Herrlich 🙂
Im Link unten sind die „Gov-Cloud“ Regionen ausgeblendet, sonst wird es komisch.

AWS Services Übersicht

Schmunzelecke

Na, wer hat auch eine Kabel-Krustelkiste mit T-StĂŒcken, Terminatoren und anderem Zeug, dass ihr fĂŒr „irgendwann“ mal aufbewahrt? Auf Ebay kann man die auch einfach so verkaufen.

Danke an Oskar fĂŒr den Tip.

💡 Link Tipps aus der Open Source Welt

Blueboat – OpenSource Cloudflare Workers

Die Cloudflare Workers sind das serverless Angebot von Cloudflare am Edge der Plattform. Blueboat ist die Open Source Alternative hierzu und kann von euch einfach selbst betrieben werden. Alternativ kann man auch den Managed Service von Blueboat verwenden – dieser ist aktuell noch im Alpha Status.
FĂŒr den Betrieb von eigenen Blueboat Instanzen benötigt man Docker, ein S3 Bucket (bsp. mit minio), eine MySQL Instanz und Optional ein Kafka Service fĂŒr Logs.

https://github.com/losfair/blueboat

Cheat – Interaktives Cheat Sheet fĂŒr das Terminal

Mit Cheat könnt ihr euch auf der Kommandozeile Beispiele fĂŒr Kommandos ausgeben, falls ihr euch an die genaue Syntax oder Parameter eines Commands nicht mehr erinnert. Beispiel mit tar:

cheat tar

# To extract an uncompressed archive:
tar -xvf ‚/path/to/foo.tar‘

# To extract a .gz archive:
tar -xzvf ‚/path/to/foo.tgz‘

# To create a .gz archive:
tar -czvf ‚/path/to/foo.tgz‘ ‚/path/to/foo/‘

Cheat wird einfach per GO installiert und kann dann mit YAML files erweitert werden.

https://github.com/cheat/cheat

fck-nat: AWS NAT Instance Gateway

Das fck-nat ist ein „Feasible cost konfigurable NAT“ und hat nichts damit zu tun, was ihr jetzt gedacht habt, oder vielleicht doch?
Wie wir alle wissen sind die â€žManaged NAT Gateways“ bei AWS sehr teuer.
Dazu sind die Images seit 2018 nicht mehr aktualisiert worden. Mit fck-nat könnt ihr euch ein NAT Gateway selber bauen oder euren Bastion Host dafĂŒr verwenden.
Preisvergleich:

  • Managed NAT Gateway pro Stunde: $0.045
  • t4g.nano pr Stunde: $0.0042
  • Managed NAT Gateway pro GB: $0.045
  • fck-nat pro GB: $0.00

Limitierung aktuell: Noch kein HA-Mode, 5Gbps Limitierung von EC2.
Trotzdem habt ihr mit 10% der NAT Gateway Kosten tolles Sparpotenzial.

https://github.com/AndrewGuenther/fck-nat

❓ Feedback & Newsletter Abo

Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.

Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

492 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address
Diese E-Mail ist bereits registriert.
The security code entered was incorrect
Vielen Dank fĂŒr Deine Anmeldung - bitte den Opt-In bestĂ€tigen.


1

Share

By About
Abonnieren
Benachrichtige mich bei
guest

0 Comments
Inline Feedbacks
View all comments

allesnurgecloud.com

© 2023 allesnurgecloud.com
0
Would love your thoughts, please comment.x