allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:
Cloud Kosten: Über $26 Milliarden in 2021 „verschwendet“
Gardner hat in einer Analyse (bereits in 2021) herausgefunden, dass bezogen auf die Cloud Spendings, die durchschnittliche Auslastung und Co. viele Cloud Ressourcen „idle“ sind und nicht gebraucht werden.
Dies können „nonprod“ Systeme sein, die eigentlich nur während der Arbeitszeit benötigt werden, aber trotzdem über Nacht und am Wochenende in Betrieb sind.
Zur Erinnerung: Eure Woche besteht aus 168 Stunden – Selbst wenn man den SAP Beratern die Systeme 60-70 Stunden bereitstellt, oder großzügig alle Test-Services von 6-22 Uhr bereitstellt (16*5=80 Stunden) – dann würde es sich trotzdem lohnen, die Systeme für den Rest der Zeit abzuschalten (88 Stunden).
Die Idle Time hat Gardner mit $14,5 Milliarden Dollar beziffert.
Der Großteil der restlichen 12 Milliarden entstehen laut Berechnung durch über-provisionierte Systeme (in Summe 8,7 Milliarden) – viele Unternehmen schaffen es einfach nicht, die Autoscaling Funktionen der Cloud Provider sinnvoll einzusetzen – oder die Anwendungen selbst sind nicht dazu in der Lage.
Die restlichen 3,4 Milliarden verschwinden in alten Snapshots und Storage Volumes, die keiner mehr benötigt oder vergessen hat.
Verrückt oder?
Jetzt wundert man sich sicherlich nicht mehr, woher die AWS Marge denn so herkommt.
Viel Spaß beim Sparen!
Overprovisioning & Always-On Resources Lead to $26.6 Billion in Public Cloud Waste Expected in 2021
Self-Service für Cloud Ressourcen: Crossplane
Mit Kubernetes haben Developer und Engineers die Möglichkeit, all ihre Ressourcen in Code zu beschreiben.
Externe Datenbanken, andere SaaS Services und co. werden bisher von Platform- oder auch DevOps Teams bereitzustellen.
Das CNCF Projekt Crossplane versucht diese Lücke zu schließen und bietet ein Framework an, welches die Beschreibung von Cloud Provider Ressourcen in Code abstrahiert. Cloud Angebote können mit der Hilfe von Crossplane auch „bundled“ und über verschiedene Clouds hinweg angeboten werden.
Aktuell werden diverse Provider unterstützt. Auf der Liste finden sich beispielsweise AWS, Azure, Google Cloud, Digital Ocean, Equinix Metal, aber auch Alibana. Cloudflare und GitLab.
Im verlinkten Artikel bei InnoQ findet ihr die Crossplane Installation via Helm Chart und die beispielhafte Konfiguration einer RDS Instanz auf AWS über Crossplane.
Die Konfiguration der managed Ressourcen kann weiterhin über ein Platform Team erfolgen – das Team kann diese jedoch viel einfacher als Self-Service konsumierbar und in einem gewünschten Security Stand ausgelieferten werden.
Habt ihr selbst Crossplane oder eine ähnliche Platform im Einsatz? Schreibt mir gerne.
Infrastructure Self-Service with Crossplane
Sponsored
DevOps & SRE as a Service mit „We Manage“
Wir helfen Dir beim 24×7 Betrieb, bei Performance Problemen, bei Kostenoptimierung oder einfach beim Betrieb deiner Web-Applikationen.
Betreibst du Services wie GitLab, Zammad und Matomo selbst – hierbei unterstützten wir ebenfalls gerne – schau Dir einfach mal unsere Leistungen an.
Unsere Kunden kommen in unseren Case Studies zu Wort – wie beispielsweise everysize.com – eine Sneaker Suchmaschine mit Preisvergleich und Community.
Interessiert? Lerne uns in einem 15 Minuten Video-Call kennen.
USA: Weitergabe von „Ring“ Videos
Die besonders in den USA populären Überwachungskameras der Amazon Tochter „Ring“ waren am Prime Day wieder drastisch reduziert. In den USA wurde nun bekannt, dass Amazon die in der Cloud gespeicherten Daten der Kameras auch ohne Zustimmung der Besitzer an die Polizei weitergegeben wurden.
In einer Untersuchung kam nun heraus, dass die Audioaufzeichnung der Kameras auch noch für Gespräche in 7,5 Metern Entfernung funktioniert.
Ihr fragt euch also, wie das Team von „Blacklist“ immer so schnell an Kameras und deren Daten kommt? So sieht das vielleicht in der Praxis aus.
Auf Nachfrage erklärte Ring hierzu, dass man die Daten über ein „Notall-Antrag“ aufgrund einer unmittelbaren Gefahr bereit gestellt hätte — und zwar in 11 Fällen.
Überwachungsvideos ohne Zustimmung an Polizei weitergegeben
Google Cloud: ARM Instanzen als Preview verfügbar
Nachdem Azure bereits im April mit ARM CPUs „in Preview“ gestartet ist, gibt es die gleichen Ampere Altra CPUs. ab sofort auch in der Google Cloud. AWS hat als selbst entwickelte ARM CPUs „Graviton“ Instanzen seit 2018 im Programm und bietet mittlerweile die 3. Generation „Graviton 3“ in AWS als Instanztyp an.
Google erlaubt die Nutzung von bis zu 48vCPUs und 4 GB pro CPU bei den neuen „Tau T2A“ Instanzen. Auch bei Google sind die Instanzen erstmal in „Preview“ und daher nur in eingeschränkt verfügbar (Regionen: us-central, europe-west4 und asia-southeast1). In Europa könnt ihr somit erstmal nur in den Niederlanden damit rumspielen – europe-west4.
Laut der Landingpage für Tau VMs bieten die Maschinen ein um 42% besseres Preis-Leistungsverhältnis – und werden von Google vor allem für „scale-out optimized“ workloads empfohlen. Teilweise sind die Compute Engine Preise in Google ja je nach Region schon 20-25% unterschiedlich, in Summe ist das dann schon ein Wort.
Wer an den technischen Details interessiert ist, zum Launch gibt es auch im Ampere Blog einen Beitrag zum Release.
Expanding the Tau VM family with Arm-based processors
Cloudflare in der EU alternativlos?
Der IT Dienstleister des Bundes hatte für die Website von Zensus 2022 die „DDOS-Mitigation“ als Dienstleister direkt und ohne Ausschreibung vergeben. Dies kann man machen, wenn der Dienstleister ein Alleinstellungsmerkmal hat.
Folglich wurde dies nun auch begründet:
…ausnahmsweise die Durchführung einer Verhandlungsvergabe ohne Teilnahmewettbewerb zulässig [ist], wenn der Auftrag nur von einem bestimmten Unternehmen erbracht oder bereitgestellt werden kann (Alleinstellungsmerkmal)…
Der Twitter User @rugme hatte die Anfrage zum Thema über Fragdenstaat.de erstellt.
Das ist irgendwie seltsam, wird doch beispielsweise bundeskanzler.de und bundesregierung.de von einer deutschen Cloudflare Alternative geschützt. Andere Alternativen bietet auch Link11 oder KeyCDN aus der Schweiz an.
Das BSI selbst hat eine Liste mit „qualifizierten DDos-Mitigation-Dienstleistern“ erstellt und veröffentlicht.
Die komplette Antwort könnt ihr (geschwärzt) hier einsehen.
ITZBund kennt keine Alternativen zu Cloudflare
Refund bei $4500 Dollar AWS Rechnung
In Ausgabe #66 erzählte ich euch von dem Kollegen Ruslan, der mit einer NextJS App über Nacht eine $4500 Dollar Rechnung ansammelte. Mittlerweile hat er einen Refund von 95% des Betrages erhalten – 2 Wochen nach initialer Meldung an AWS.
Folgende Tips hat er, sollte euch ein ähnlicher Fehler treffen:
- Acknowledge it was an honest mistake.
- Do not wait for the bill to grow. Fix it ASAP.
- Plan actions to avoid the same problem in the future.
- Reply ASAP to AWS Support requests.
Er geht im Beitrag auf die Problematik des stark verzögerten Billings bei AWS Cloudfront ein. Er hätte dies durch Cloudwatch Alarme früher mitbekommen können – im Falle von Cloudfront müssen diese aber in jeder aktiven Region aktiv sein. Ohne „Infrastructure as Code“ – ist das schwierig umzusetzen und nachzuhalten – und ist in Summe für seine App schon wieder ein klassischer Fall von Overengineering.
I got a refund from AWS after I DDoSed myself with CloudFront.
Ad-blocking mit Pi-Hole
Im Netways Blog findet sich ein guter Artikel zum Pi-Hole – dem Quasi Standard für DNS-basiertes Ad-Blocking.
Pi-Hole habe ich selbst schon einige Jahre auf einem Raspberry im Einsatz und ich kann euch den Einsatz nur wärmstens empfehlen.
Pi-Hole wird dabei eurer DNS Auflösung vorgeschaltet und funktioniert somit für alle Geräte in eurem Netz. Egal ob Tracking und Werbung auf Webseiten, Calling-Home Funktionen von Smart-TVs oder die Übertragung von Metriken eurer Smart-Home Devices – all dies kann Pi-Hole unterbinden. Ihr benötigt lediglich ein wenig Linux Magie und einen Raspberry Pi.
In den letzten 24 Stunden hat mein Pi-Hole 30% der Requests geblocked – Top Domains sind Amazon, Google Analytics, Samsung und der Sonos Telemetry Dienst. Kommt halt stark auf euer Setup zu Hause an – der Einsatz lohnt sich aber.
Pi-Hole – das Urgestein der DNS-basierten Werbeblocker
Hochwertigen Kubernetes Cluster selber bauen
Justin Garrison hatte bereits 2017 mit einem günstigen Kubernetes 4-node Cluster für unter $100 für Aufsehen gesorgt.
Gut, für 100$ wird das aktuell aufgrund der aktuellen Preise nicht mehr möglich sein – es sei denn, man bekommt wie im Artikel beschrieben, günstige Alt-Hardware.
Jedenfalls hat Justin den Spieß nun umgedreht. Für Demo Zwecke wollte er einen vorzeigbaren, High-End Demo Cluster bauen.
Als Basis nutzt er einen ausgedienten Apple Power Mac G4 Cube – deshalb heisst das Projekt auch „Cubernetes“.
Die Intel Tiger Lage UP3 CPUs stecken auf einem LP-179 Board und kommen mit 32GB – jedes Board kostete $1345.
Insgesamt hat er über $6310 für einen Showcase Rechner ausgegeben – und natürlich unzählige Stunden in den Aufbau investiert.
Das Ergebnis kann sich sehen lassen, finde ich.
Einführung in Profiling mit Parca
Parca ist ein Open Source Profiling Dienst, welcher Daten von eBPF Filter im Kernel abgreift und euch aufbereitet darstellt.
Neben dem zentralen Parca Server benötigt ihr einen Agent auf jedem Host, der die Daten abgreift und an den Server übermittelt. Über eine Web GUI könnt ihr euch die Traces dann im Detail anschauen, oder in einer Zeitleiste mit einem vorherigen Zustand vergleichen – um einfacher Unterschiede zu erkennen.
Das verlinkte Tutorial erklärt die Techniken und Architektur von Parca und zeigt euch, wie ihr Parca in eurer Umgebung an den Start bekommt.
Falls ihr euch Parca nur einmal anschauen wollt , könnt ihr in der Demo App aufrufen.
Introduction to Parca – Part 1
10 Projekte für den Einstieg in Kubernetes
Ihr habt schon immer mal nach einem konkreten Use-case gesucht, um Kubernetes auszuprobieren?
Hier kommen gleich 10 Empfehlungen, von E-Commerce Shop, über Doom und Space Invaders zum Thema Serverless.
Ein paar Auszüge:
- Robot Shop: Microservice Shop von Instana, auf Basis von AngularJS, Nginx, Python, NodejS, Redis,… ihr seht, nicht so einfach, aber schaut gerne mal rein.
- Kube DOOM: Ihr jagt Kubernetes Pods, in Doom – ja das geht.
- KubeInvaders – Space Invaders als Chaos Engineering
- Wayne – Kubernetes Cluster Orchestrierung
für die restlichen Tips schaut gerne im verlinkten Artikel vorbei.
10 Awesome Kubernetes Projects for Beginners
Schmunzelecke
- Recruiters if you put PHP on your resume – twitter @ChrisArter
💡 Link Tipps aus der Open Source Welt
PostHog – Open Source Product Suite
PostHog finde ich ziemlich cool. Mit PostHog könnt ihr euren Shop/Produkt mit einem internen Analytics System versehen, beispielsweise um einen Funnel zu analysieren, die Klickstrecke eines Users, Trends eurer URLs und mehr. Dazu könnt ihr Sessions aufnehmen, Features mit Flags ein und abschalten, ein A/B Testing einbauen und vieles mehr.
Das alles mit einem modernen und self-hosted Tool, welches auch noch diverse Integrationen (Airbyte, BigQuery, GitHub, Sentry, n8n) und weitere unterstützt.
https://github.com/posthog/posthog
PocketBase: Open-Source SaaS und App Backend
PocketBase ist ein Open-Source Backend für SaaS und Mobile Apps. PocketBase bringt dabei eine Datenbank für Subscriptions (SQLite), ein User-Management, eine Admin UI und eine einfache REST API mit.
Das Tool selbst ist in GO und mit Svelte entwickelt worden, Beispiele für die Implementierung findet ihr in der Dokumentation.
https://github.com/pocketbase/pocketbase
Laurel – Linux Audit Logs aufbereiten
Laurel ist ein Audit Plugin für den Linux auditd Daemon, welches das Audit Log Format sinnvoll aufbereitet. Beispielsweise können die Files in JSON umgewandelt werden und somit einfacher in einem SIEM System importiert und visualisiert werden.
https://github.com/threathunters-io/laurel
❓ Feedback & Newsletter Abo
Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.
Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren: