allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Cloudflare: AWS Egress Traffic Kosten „ungeheuerlich“
In einem prominent auf Twitter angekündigten Blog Beitrag ranten der Cloudflare CEO Matthew Prince und sein SVP für „Global Infrastructure“ über die Traffic Kosten in AWS.
Im Detail geht es um die teilweise horrenden Kosten, die Kunden in AWS für ausgehenden Traffic bezahlen müssen. I diversen Beispielrechnungen legen die beiden dar, dass Kunden in den AWS Regionen in Europa, USA & Kanada teilweise die 80-fachen Kosten von Amazon bezahlen.
Natürlich ist das ganze ein doppelter Rant, Cloudflare bietet mit der „Bandwith Alliance“ eine Möglichkeit an, mit der Kunden der großen Cloud Anbieter finanziell deutlich besser gestellt werden. Von den großen Cloud Anbietern sind alle dabei – bis auf AWS. Amazon hat die Einladung bisher mehrfach ausgeschlagen.
Im Blog Eintrag argumentiert Cloudflare auch damit, dass die Kosten in den letzten 10 Jahren um über 93% gefallen seinen – AWS seine egress Kosten aber nur um 25% reduziert hat. AWS dürfte hier also einen guten Teil seiner exorbitanten Marge erzeugen.
Cloudflare Blog: AWS’s Egregious Egress
Sponsored
Authentisches Hands-on Cloud Consulting
superluminar ist ein 12-köpfiges, auf AWS spezialisiertes Team, das Kunden wie Fielmann, Immowelt, MOIA sowie Startups auf dem Weg in und durch die Cloud partnerschaftlich begleitet. Neben der strategischen Beratung krempelt superluminar auch selbst die Ärmel hoch und steigt in den Maschinenraum, um mit Unternehmen gemeinsam innovative Produkte und Technologien zu entwickeln: Bei Projektende gehören das Wissen, die Fähigkeiten und die Lösung so dem Kunden.
Die superluminar-Gründer begannen bereits vor mehr als 10 Jahren mit der Arbeit in AWS-Cloud, indem sie für Jimdo – einem der erfolgreichsten Startups in Europa – weltweit Millionen von Websites skalierten.Mehr über superluminar!
Elasticsearch Alternative OpenSearch 1.0 released
Das OpenSearch Projekt hat nach diversen Ankündigungen Anfang des Jahres nun eine 1.0 Version seiner ElasticSearch Alternative veröffentlicht. Ihr erinnert euch sicher noch an die diversen Ausgaben, in denen ich auf das Thema hingewiesen habe.
Der Fork basiert auf Elasticsearch & Kibana in den Versionen 7.10.2 – das ist der Stand vom 14.01.2021 – somit schon ein halbes Jahr alt.
Im Gegenzug findet ihr einige Features der „OpenDistro“ Version, wie beispielsweise Security, Alerting und Anomaly Detection Features. Zudem wurden alle Trademarks und proprietärer Code entfernt. Das Upgrade von älteren Elasticsearch Versionen sollte ohne Probleme funktionieren. Ist eure Elastic Version schon neuer, so müsstet ihr mal einen Dump einspielen und das ganze ausprobieren.
Version 1.1 von OpenSearch soll dann schon am 30. August erscheinen – mit diversen Feature Enhancements im Bereich „Anomaly Detection“, Notification Support und SAML Flexibilität.
Stellt ihr eure Installationen um? Hm.
OpenSearch News: 1.0 is released
Starlink Review nach 4 Monaten Nutzung
Jeff Geerling ist in der OpenSource Szene vor allem durch seine Ansible Playbooks und Bücher bekannt. Mit Internet-pi hat er ein Projekt für das Monitoring seiner eigenen Internet Connection. Genau das hat er nun genutzt, um seine Cable Connection mit dem Satelliten Internet von SpaceX zu vergleichen.
Jeff lebt in St. Louis und hier ist eine kleine Zusammenfassung seiner Feststellungen:
- Im Schnitt erreichte er 148 Mbps Downstream und 17,1 Mbps Upstream bei einer Latenz von 38ms
- Im Vergleich dazu: Seine Cable Connection hat 891 Mbps Downstream und mit 39,2 Mbps Upload – bei 20ms Latenz
- Interessant ist ein Bild mit Aussetzern bei Starlink, die er regelmäßig hat und teilweise auf die Beschattung seines Hauses zurückführt (Diverse Bäume rund ums Haus)
- Starlink ist mit 99$/Monat günstiger als seine 1,5 fach teurere Cable Connection
- Der Stromverbrauch des Routers und der Schüssel „Dishy“ ist mit knapp 100W recht hoch. Im Winter wird die Schüssel beheizt, was den Stromverbrauch weiter erhöht.
Man muss hierbei bedenken dass in den USA schnelle Cable Connections nur in der Stadt üblich sind. Starlink könnte daher für alle ländlich gelegenen und schlecht versorgten Gebiete eine echte Alternative sein.
Nach den verheerenden Hochwassern in Deutschland hat die Kölner Feuerwehr übrigens 12 Starlink Satellitenschüsseln aufgebaut um so schnell wie möglich kostenloses Internet in den betroffenen Regionen bereitzustellen.
jeffgeerling.com: SpaceX’s Starlink Review – Four months in
Security: Apotheken Portal für Impfbestätigung offline
Auch beim digitalen Impfzertifikats-Portal hat man geschlampt. Nach Hinweisen auf gefälschte Impfzertifikate haben Sicherheitsforscher sich auf einfache Weise Zugriff zum Portal erschleichen können. Das Handelsblatt hatte zuerst berichtet (Quelle: Handelsblatt – Paywall).
Laut dem Apothekerverband hat das Portal mittlerweile über 25 Millionen Zertifikate erstellt. Leider hat man in der Architektur den sonst bei Zertifikaten üblichen „Revoke“ Prozess nicht implementiert – man kann also ein ausgestelltes Zertifikat nicht nachträglich für ungültig erklären. Das ist dann doch, äh, etwas ungeschickt?
heise.de: Apotheken: Wie Sicherheitsforscher das Impfzertifikats-Portal kompromittierten
Facebook MySQL 8 Migration
Eine DB Migration ist bei Facebook ein ordentlicher Aufwand. Neben der eigenen Engine „MyRocks“ hat man dort schon immer viele „Custom Features“ in MySQL gepatched (über 1700 Code patches) und muss diese im Falle einer Migration portieren. Im Falle von MySQL 5.6 hat diese Migration knapp 1 Jahr gedauert. Man hat sich deshalb dazu entschieden, die Version 5.7 zu überspringen und direkt auf 8.0 zu migrieren.
Das Überspringen der Version erschwerte den Update Pfad, denn die Migration konnte nicht „in place“ durchgeführt werden, sondern die Prozedur erforderte einen logischen Dump inkl. Restore – bei der Größe der Facebook Datenbanken ein teilweise mehrtägiger Prozess.
Interessanter Einblick in eine sicherlich eher unübliche Herausforderung.
Facebook Engineering: Migrating Facebook to MySQL 8.0
Akamai Edge DNS Downtime
Am Donnerstag 22.07.2021 war der Akamai Edge DNS Service für ca. 1 Stunde ausgefallen.
Akamai wird vor allem von Enterprise Kunden wie dem Playstation Network, DHL, Elextronic Arts, aber auch von Amazon, Microsoft, Airbnb und Evernote genutzt.
Ein Fehler in einem Software Update löste diesen „Kaskaden“ Effekt aus. Der Fehler selbst war nach ca. 40 Minuten behoben, die Dienste haben dann noch einen Moment benötigt, um sich vom DNS Schock zu erholen.
Die Downtime konnte man auf Twitter verfolgen, die User Kommentare sind teilweise herrlich.
Und ihr kennt das ja: „Die Moral von der Geschicht? 100% Uptime, gibt es nicht.“
t3n.de: Massiver Internetausfall betraf Amazon, Playstation und Dutzende andere
DB Server Hardware Update bei Let’s Encrypt
Bereits im Januar hat Let’s Encrypt ein Update zu seiner DB Infrastruktur gepostet, welches ich hier gerne noch kurz erwähne.
Let’s Encrypt nutzt MariaDB mit der InnoDB Engine innerhalb der CA Software boulder (OpenSource GitHub Projekt).
Aus diversen Gründen nutzt Let’s Encrypt eigene Hardware, das soll hier aber nicht das Thema sein. Die Migration auf die neue Hardware Generation inkl. AMD EPYC CPUs und NVMe SSD Disks resultierte in einer API Performance Verbesserung von im Schnitt 90ms pro Request auf nur noch 9ms. Andere SQL Queries sind nun bis zu 3 mal schneller als vorher.
Let’s Encrypt: The Next Gen Database Servers Powering Let’s Encrypt
AirTags auf Reisen – Part 2
In Ausgabe #25 berichtete ich über den YouTuber MegaLag, welcher Apple AirTags zu Tim Cook, Elon Musk und nach Nord Korea geschickt hatte. Nicht gesehen – das Video dazu ist hier.
Nun hat der Kollege ein Update auf YouTube gepostet. Einer der beiden Amerikaner hat ihm sogar zurück geschrieben.
Das Paket für Nord-Korea wurde erstmal nach Südkorea geschickt, dann nach China. Schaut euch gerne da Video an, man lernt auch noch etwas zum DHL und deren Nachforschungs-Bemühungen im Falle eines Paketverlusts.
Mashable: Guy sends AirTag to Tim Cook, gets it back with a letter
GitLab 14.1 released – Helm Chart Repository und mehr
Nicht mal 4 Wochen nach GitLab 14.0 schiebt GitLab die Version 14.1 Neben diversen Fixes gibt es folgende neuen Features:
- Helm Chart Repository
- Escalation Policies um keinen Alert zu verpassen (nicht in „Free“ enthalten)
- Wiki: Kann nun Tabellen und Image Upload innerhalb des neuen Editors, zudem gibt es neue Content Types
- Verbesserung der VS Code Integration
- Default Branch Rename (Für einfache Umstellung von Master => Main)
- und ganz viel mehr
Wie immer findet ihr die Beschreibung der neuen Features und die Verfügbarkeit je nach Subscription auf der Releases Page.
GitLab 14.1 released with Helm Chart Registry and Escalation Policies
Schmunzelecke
Die Polizei von Malaysia „walzt“ über 1000 Bitcoin Miner einer illegal betriebenen Bitcoin Miene in Malaysia. Man hätte mit den Rechnern sicherlich auch besseres anfangen können. Video: https://twitter.com/AFP/status/1418496106774908929
💡 Link Tipps aus der Open Source Welt
Piped – Privacy-friendly YouTube Frontend
Piped ist ein YouTube Frontend zum selber hosten. Es entfernt Werbung & Tracking von YouTube, supported Feed, Infinite Scrolling, etc. Natürlich muss euer Proxy eine vernünftige Anbindung haben, ihr könnt das aber auch einfach selber nutzen.
Testen könnt ihr das hier: https://piped.kavin.rocks/watch?v=Lwk8e2q4qHo – hinter dem üblichen ?v= Query String könnt ihr einfach einen YT Code eurer Wahl anhängen.
Warum es das Projekt gibt und was es von Alternativen unterscheidet findet ihr hier.
https://github.com/TeamPiped/Piped
mitmproxy – Open-Source HTTPS Proxy
Mitmproxy ist das Schweizer Taschenmesser für das Debugging & Testen von Web Anwendungen und Mobile Apps. Ihr könnt damit Web-Traffic abfangen, analysieren und gespeicherten Traffic erneut abspielen. Mitmproxy ist damit eine tolle Alternative ebenfalls populären aber kostenpflichtigen „Charles Proxy“. Mitmproxy könnt ihr einfach per „brew install mitmproxy“ installieren.
https://github.com/mitmproxy/mitmproxy
Timewarrior – Time Tracking für die Console
Ja, auch Zeiterfassung geht in der Console – und zwar ganz einfach mit Timewarrior. Mit den Tags könnt ihr Zeiten auf unterschiedliche Aktivitäten/Projekte erfassen, mit „timew start“ die Erfassung einfach starten oder mit „stop“ wieder stoppen.
Für die Auswertung gibt es dann Reports und Statistiken – schaut einfach mal in das Tutorial.