allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Hochlast-Optimierung für Webseiten am Beispiel etsy.com
In den letzten beiden Wochen habe ich mich beruflich viel mit dem Thema Hochlast-Optimierung von Webseiten beschäftigt. Da unsere Vorgehensweise aktuell nicht publik ist, findet ihr hier am Beispiel des Marktplatzes etsy.com ein paar grundsätzliche Empfehlungen.
Man sieht hier den Traffic auf etsy.com im Vergleich zu den Vorjahren inkl. Peak an Weihnachten. Seit dem „Lockdown“ Peak ist der Traffic stabil auf einem sehr hohen Niveau. Ohne Lockdown hätte Etsy hierfür einige Jahre an weiterem Wachstum benötigt.
Etsy läuft auf GCP und kommuniziert vorab berechnete Vorhersagen an Google, damit in GCP genug Ressourcen reserviert werden können. Ja, auch in der Cloud macht dies bei solchen Anforderungen Sinn, denn auch die Cloud kann nicht unendlich skalieren.
Da sich in den USA viel um den beweglichen „Cyber Monday“ abspielt, berechnet Etsy zum Vergleich mit den Vorjahren die „Tage bis zum Cyber Monday“ als Vergleichsbasis.
Für Etsy sind synthetische Lasttests wichtig, um frühzeitig Bottlenecks feststellen zu können. Allerdings kann sich das User-Verhalten in der Praxis deutlich von den Lasttests unterscheiden – Dies deckt sich mit meiner persönlichen Erfahrung mit diesem Thema, denn der User verhält sich immer anders, als man denkt. Etsy trainiert die „Skalierung“ auf den 3-fachen Traffics des Monats August im Oktober mit einem dedizierten Team & Prozess.
Geht trotz der extensiven Vorbereitung etwas schief, so sollte man auch am Cyber Monday ein Deployment wagen. Aus persönlicher Erfahrung kann ich noch hinzufügen, dass es sehr wichtig ist, die Traffic Chain und die durch User verursachte Transaktionen zu 100 % nachvollziehen und verstehen muss, damit man Bottlenecks sauber identifizieren und beheben kann. Hierbei helfen euch APM Tools wie New Relic, Dynatrace & Instana.Artikel:
How Etsy Prepared for Historic Volumes of Holiday Traffic in 2020
SEO Agentur Datenpanne über öffentlich erreichbares Backup
In der letzten Woche hatte Ich auf die 3-2-1 Backup Regel hingewiesen. Bitte schaut, dass ihr eure Backups nicht öffentlich erreichbar auf irgendwelchen Webroots ablegt, denn sonst könnte das Folgende passieren: Jemand lädt sich die backup.sql tatsächlich herunter und schickt diese Info an die „c’t“. Daraus wird dann ein umfangreicher und transparenter Bericht: c’t deckt auf: Datenleck bei großer SEO-Agentur.
Die Agentur hatte dummerweise ihre Kundendaten darin veröffentlicht, mitsamt Klartext Passwörtern für über 5000 Adressaten. Neben dem DSGVO meldepflichtigen Fauxpas, dem Reputationsschaden war man hier also ein Weilchen mit den Nacharbeiten beschäftigt.
Als Entwickler möchte man ja schnell mit „live“ Daten lokal testen. Bitte sichert diesen Prozess entsprechend ab, verschlüsselt die Backups und scrambled sämtliche Kundendaten mit Tools wie Masquerade oder dem MySQL Data Anonymizer. Um die Daten dann in die lokale Entwicklungsumgebung zu kopieren, sollte man niemals auf ein öffentlich erreichbares Verzeichnis angewiesen sein.
c’t deckt auf: Datenleck bei großer SEO-Agentur
Teambuilding für Tech Manager
Im Technologie Umfeld ist heutzutage genauso schwer Talente zu halten wie neue einzustellen. Man darf daher seine bestehende Mannschaft nicht als gegeben hinnehmen, sondern muss aufpassen, dass Sie nicht abtrünnig werden. Die häufigsten Gründe hierfür: Überstunden, schlechte Manager, Job erfüllt nicht oder die Lust auf neue Herausforderungen.
Alle kennen sicherlich das Phasenmodell von Bruce Tuckman: Forming, Storming, Norming & Performing. Die Praxis zeigt aber auch ein paar andere Modelle, und als Manager ist es wichtig zu wissen, in welchem Stadium sein Team sich befinden könnte:
- Survival Mode: Ständiges Feuerlöschen, zu großes Backlog, keine Zeit, neue Technologien & Methoden zu lernen, Mitarbeiter sind überarbeitet
- Learning Mode: Man hat Zeit, neue Technologien zu lernen, sich aus der Komfortzone zu bewegen, Fehler sind erlaubt und erwünscht
- Self-organizing mode: Team kann sich ohne Manager selbst organisieren, kann Konflikte selbst lösen & Entscheidungen fällen.
Efrén A. Lamolda (Head of Engineering bei Tier Mobility) stellt diese 3 Phasen in seinem Blogeintrag vor und gibt Tipps, wie euer Team das nächste Level erreichen kann.
Wie immer ist Transparenz auf dem Weg entscheidend. Efrén hatte bereits im letzten Jahr in „Leading a successful tech team“ erläutert, was er unter einem erfolgreichen Team versteht, wie man diesen Zustand messen und schlussendlich auch erreichen kann.
Medium Artikel: Tech Leaders, where is your Team?
Meetup Tip: Inside STACKIT Kubernetes Engine
Die Schwarz Gruppe arbeitet aktuell am Release ihrer Cloud Plattform STACKIT.
Am Mittwoch, dem 31. März 2021, berichten die Kollegen von ihren Erfahrungen beim Aufbau des managed Kubernetes Service auf STACKIT. Ihr könnt euch hier kostenlos anmelden: https://www.meetup.com/de-DE/SIT-Meetups-Die-IT-Meetups-der-Schwarzgruppe/events/276886541/
(Disclaimer: Die Schwarz Gruppe ist mein aktueller Arbeitgeber)
SIT-Meetup: Inside STACKIT Kubernetes Engine:How provide Kubernetes as a service
💡 Link Tipps aus der Open Source Welt
mas – Mac App Store command line interface
Das Open-Source Tool „mas-cli“ ist ein CLI für den Mac App Store. Nach der Installation via Homebrew oder MacPorts könnt ihr mit „mas-cli“ den Mac App Store automatisieren und beispielsweise Apps installieren oder via „mas upgrade“ alle installierten Apps aktualisieren.
https://github.com/mas-cli/mas
HTTP Toolkit – HTTP Debugging leicht gemacht
Das HTTP Toolkit hilft euch beim analysieren und manipulieren von HTTP Requests & Responses. Mit der OpenSource Variante könnt ihr schon einiges anfangen, mit der PRO Version könnt ihr dann einfach Services mocken oder regelbasierte Manipulationen vornehmen.
https://github.com/httptoolkit
Azure Compliance Scanner
Mit dem Azure Compliance Scanner könnt ihr aus eurer CI/CD Umgebung eure Azure Ressourcen, Gruppen und Subscriptions gegen vorher festgelegte Azure Policies testen. Beispielsweise könnt ihr so in einem GitHub Actions workflow festlegen, ob der Policy Verstoß nur reported, oder das komplette Deployment gar abgebrochen wird.
https://github.com/Azure/policy-compliance-scan
Production Readiness Checklist
Gruntwork hat eine DevOps Production Readiness Checklist für AWS veröffentlicht. Neben grundsätzlichen Überlegungen zur Architektur gibt es Tipps für Hochverfügbarkeit, Continuous Integration, Continuous Delivery, Networking & Security von modernen Applikationen.
Viele genannten Empfehlungen kennt ihr sicherlich schon, vielleicht ist aber noch etwas neues dabei.
https://gruntwork.io/devops-checklist/
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: