allesnurgecloud #36 – Yelp ersetzt Elasticsearch, AdBlocker bei CIA & NSA, ClickHouse funding und mehr

allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der OpenSource, Cloud und IT Welt.
Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

Please enter a valid email address
Diese E-Mail ist bereits registriert.
The security code entered was incorrect
Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.

Yelp entwickelt ElasticSearch Alternative Nrtsearch

Das Empfehlungsportal Yelp ersetzt seine große Elasticsearch Installation durch eine Eigenentwicklung auf Basis von Apache Lucene. Warum wollte Yelp Elasticsearch überhaupt ersetzten? Mit Zunahme der Use-Cases konnten die Kosten nicht so skalieren, wie gewünscht. Die Probleme:

  • Dokument basierte Replikation: Musste auf jedem Node erfolgen, mit Anzahl der Nodes steigt die Anzahl der nötigen CPU Nodes
  • Elasticsearch kontrolliert die Shard Verteilung – welche somit nicht gleichmäßig auf alle Nodes erfolgte
  • Automatische Skalierung schwierig: Realtime Skalierung von Backend Nodes sei kompliziert, vor allem wenn man eine gleichmäßige Auslastung sicherstellen möchte

Nach einem Talk von Amazon über die Lucene Engine sah man darin zwei Vorteile.

  • Near-real-time Replication: Replica Nodes können bereits indizierte Dokumente einfach vom Primary beziehen, anstatt sie nochmals selbst zu indizieren
  • Concurrent Search: Lucene kann mehrere Indizies parallel durchsuchen und damit voll von Muti-cCore CPUs profitieren.

Elasticsearch hatte keine Pläne, die beiden Lucene Features zu implementieren – zumindest laut dem verlinkten Eintrag im Community Forum von 2018.
Im Blog Beitrag wird das Design der neuen Suche beschrieben, und das Projekt, welches als Basis diente: LuceneServer.
Am Ende konnte Yelp durch ihre neue Suche eine Performance-Verbesserung von 30-50% erreichen, und das bei um bis zu 40% reduzierten Infrastruktur Kosten.
Die neue Suche „nrtSearch“ hat Yelp Open-Source veröffentlicht.

engineeringblog.yelp.com: Nrtsearch: Yelp’s Fast, Scalable and Cost Effective Search Engine


„Gefährliche Online Werbung“: NSA und CIA nutzen Ad Blocker

Die amerikanischen Sicherheitsdienste nutzen doch tatsächlich AdBlocker, um sich vor der bösen Internet Werbung und dem damit verbundenen Tracking zu schützen. In der Argumentation geht es hauptsächlich um den Schutz vor „Malicious Ads“, also Werbung, welche Sicherheitslücken in Browsern ausnutzt, um dem Browser Malware und ähnliches unterzuschieben.
Allerdings möchte man auch vermeiden, dass „Daten Händler“ im großen Stil Informationen über Mitarbeiter der Behörden speichern und weiterverkaufen – oh the Irony.

vice.com: The NSA and CIA Use Ad Blockers Because Online Advertising Is So Dangerous


Sponsored

Dein Einstieg ins Cloud Engineering!

Als superluminar GmbH bieten wir Cloud Consulting für Unternehmen, Startups und Organisationen an. Unser Büro ist in Hamburg, wir arbeiten aber überwiegend remote.

Wir verstehen nicht nur die modernsten Technologien, wir schauen auch auf Menschen und Prozesse. So unterstützen wir Organisationen bei der Transition hin zu moderner Produktentwicklung. Ein Mit statt für euch ist dabei unser Motto. Zu unseren Kunden zählen z.B. Fielmann, Immowelt, MOIA und Dance, wir achten auf einen gesunden Mix zwischen Enterprise-Welt und Startups.

Als Junior Consultant Cloud Engineering (m/w/d) unterstützt du unsere Kunden bei dem Weg in und durch die AWS Cloud. Der Fokus liegt dabei auf Engineering-Beratung, Coaching und Trainings. Werkverträge, Arbeit nach Pflichtenheft oder Body-Leasing gibt es bei uns nicht. Gerne darfst du in Teilzeit arbeiten, dir ein Firmenfahrrad aussuchen und von nachhaltiger Betrieblicher Altersvorsorge sowie Kita-Zuschüssen profitieren.

Mehr erfahren!

ClickHouse mit $50 Millionen Series A Funding

Auf das high-performance, Open-Source Datenbank System ClickHouse hatte ich in Ausgabe #26 schon hingewiesen. ClickHouse ist die Alternative zu den großen, kostenpflichtigen Systemen, um große Datenmengen in vernünftiger Geschwindigkeit zu analysieren.
ClickHouse ist ursprünglich im Hause Yandex für denen Google Analytics Mitbewerber „Yandex.Metrica“ entstanden.
Für die Weiterentwicklung hat man sich nun für die Ausgründung als „Clickhouse, Inc.“ entschieden und ein $50 Millionen Series A Funding von Benchmark Capital und Index Ventures gesichert.
ClickHouse hat einige beeindruckende Case Studies verlinkt:

  • Spotify: „Spotify’s A/B Experimentation platform is serving thousands of sub-second queries per second on petabyte-scale datasets with Clickhouse“ – zur Case Study
  • Deutsche Bank: „ClickHouse helps serve the Client Analytics platform for reporting, deep data analysis as well as advanced data science to provide Deutsche Bank’s front office“ – zur Case Study
  • Cloudflare: „By moving their HTTP analytics data to ClickHouse they were able to scale to 8M requests per second, deleted 10’s of thousands of lines of code, reduced their MTTR, and saw a 7x improvement on customer queries per second they could serve“ – zur Case Study
  • Uber: „Uber moved it’s logging platform to ClickHouse increasing developer productivity and overall reliability of the platform while seeing 3x data compression, 10x performance increase, and ½ the reduction in hardware cost.“ – zur Case Study
  • eBay: „The simplified architecture with ClickHouse allowed them to reduce their DevOps activity and troubleshooting, reduced the overall infrastructure by 90%, and they saw a stronger integration with Grafana and ClickHouse for visualization and alerting“ – zur Case Study

Arbeitest du oder deine Firma mit großen Datenmengen und willst diese schnell analysieren – dann solltet ihr euch ClickHouse unbedingt mal ansehen.

clickhouse.com: „Introducing ClickHouse, Inc.“


17 weitere Wege, Container in AWS zu betreiben

Corey Quinn von lastweekinaws.com hatte im Sommer schon 17 Wege vorgestellt, wie man Container auf AWS betreiben kann, in Ausgabe #21 hatte ich darüber berichtet.
Nun hat er 17 weitere Möglichkeiten veröffentlicht, wie man Container in AWS betreiben kann.
Darunter sind Dienste, von denen ich noch nie gehört habe, aber ggf. sind Sie auch einfach nur aus dem AWS Namens-Mixer gefallen:

  • Amazon GameLift
  • Amazon RoboMaker
  • Amazon Sagemaker
  • AWS Nitro Enclaves

Kein Wunder, gibt es nicht heute 283 verschiedene AWS Services – schwer, hier den Überblick zu behalten.
Bei Corey Quinn startete das Ganze Thema „Container in AWS“ übrigens scherzhaft als Meme.
So, und nun – Hand aufs Herz – wer kennt die in Summe 34 Möglichkeiten, Container in AWS zu betreiben?

lastweekinaws.com: 17 More Ways to Run Containers on AWS


Altes Let’s Encrypt Root Certificate läuft am Donnerstag aus

Am 30. September 2021 läuft ein älteres Let’s Encrypt Root Zertifikat aus. Scott Helme schreibt dazu. in seinem Blog:

You may or may not need to do anything about this Root CA expiring, but I’m betting a few things will probably break on that day so here’s what you need to know!

Let’s Encrypt hat bisher über 2 Milliarden Zertifikate ausgestellt, und der ein oder andere Dienst, wird am 30. September sicherlich nicht funktionieren. Die Macher von Let’s Encrypt sind im Jahre 2019 schon auf ihr eigenes Root CA migriert, das „ISRG Root X1“, welches erst am 4. Juni 2035 ausläuft. Viele Devices hatten dieses aber noch nicht integriert, beispielsweise Android erst im Januar 2021 – die Migration wurde also verschoben.
Scott listet in seinem Blog Eintrag betroffene Devices und Operating Systeme, wie immer ohne Gewähr:

  • OpenSSL <= 1.0.2
  • Windows < XP SP2
  • macOS < 10.12.1
  • iOS < 10 (iPhone 5 is the lowest model that can get to iOS 10)
  • Android < 7.1.1 (but >= 2.3.6 will work if served ISRG Root X1 cross-sign)
  • Mozilla Firefox < 50
  • Ubuntu < 16.04
  • Debian < 8
  • Java 8 < 8u141
  • Java 7 < 7u151
  • NSS < 3.26
  • Amazon FireOS (Silk Browser)

Das Root Zertifikat läuft am kommenden Donnerstag, um 14:01:15 GMT – also um 16:01 deutscher Zeit aus.
Viel Spaß und jetzt schon mal #HugsOps and die Betroffenen.

Let’s Encrypt’s Root Certificate is expiring!


Fehler in iCloud leaked IP Adressen der „Private Relay“ User

Browser und OS Hersteller versuchen schon seit einigen Jahren, die Daten der User weiter abzusichern, bzw. nur für sich selber nutzbar zu machen. Apple hat hierfür einen Dienst namens „iCloud Private Relay“ gelaunched, eine Mischung aus TOR und VPN Dienst (Quelle: Spiegel Online).
Über eine Lücke im WebRTC Protokoll (genutzt für Audio und Video Übertragung innerhalb des Browser, beispielsweise bei Web Konferenz-Software) konnten Sicherheitsforscher von FingerprintJS nun die Client IP Adressen von Nutzern des „iCloud Private Relay“ herausfinden. Die Lücke wird von den Forschern in einem Blog Artikel ausführlich erklärt. Apple müsse zudem Safari patchen, damit man diese Lücke nicht mehr ausnutzen kann.

appleinsider.com: iCloud Private Relay flaw leaks users‘ IP addresses


Typische AWS Fehler zusammengefasst

Im Blog des PHP Frameworks Laravel gibt es einen aktuellen Artikel zu Erfahrungen mit AWS, dessen Findings ich euch kurz zusammenfassen wollte:

  • CPU Credit System bei vermeintlich kosten günstigen T2/T3/T4 Instanzen: Habt ihr Applikationen, die CPU Bursts verursachen, beispielsweise Datenbanken, dann werden diese Systeme unter Umständen deutlich teurer. Ihr müsst also eure CPU Credits im Auge behalten.
  • AMD CPUs können 10% günstiger sein, bei teilweise gleicher oder minimal schlechterer Performance. Dies sind übrigens die Instanzen mit dem kleinen „a“ im Namen – T3 – Intel CPU, T3a – AMD CPU
  • GP3 Volumes solltet ihr GP2 Volumes bevorzugen, aber Achtung: GP2 Volumes funktionieren aktuell nicht mit allen RDS Systemen

Schaut mal in den Artikel rein, es gibt dort noch weitere Hinweise zu Metriken, IOPS und co.

laravel-news.com: Mistakes I’ve Made in AWS


Schmunzelecke

Das Stack Overflow „The Key Macropad“ gibt es nun zu kaufen bei drop.com

Den Pager-Duty/OpsGenie Kontakt umbenennen? Klar, in „remind to drink water“ – twitter.com


💡 Link Tipps aus der Open Source Welt

Docker Compose V2 veröffentlicht

Docker hat die offizielle V2.0.0 von docker-compose veröffentlicht. Die Version 2.0 ist ein kompletter Rewrite in Go (vorher Python) mit unterschiedlicher Architektur zur 1.x. Mittlerweile gibt es sogar schon eine Version 2.0.1 😉

https://github.com/docker/compose

Awesome Kubernetes (K8s) Security Liste

Eine kuratierte Liste mit Büchern, Talks, Artikeln und Videos zum Thema Kubernetes Security. Die Liste wird regelmäßig aktualisiert und die meisten Einträge sind auf Englisch.

https://github.com/magnologan/awesome-k8s-security

Pyrra – SLOs in Prometheus vereinfacht

Pyrra.dev ist ein Open-Source Tool von Polar Signals, welches in deren 20% Time entstand. Mit Pyrra könnt ihr SLOs und deren Schwellwerte in Prometheus einfach konfigurieren und darstellen. Vor kurzem wurde die erste Version von Pyrra veröffentlicht, Zeit sich also die Demo anzuschauen.

https://github.com/inguardians/peirates


Schmunzelecke

„Instead of encrypting your files, we have installed hundreds of hidden copies or Oracle database all over your server farm“ – gemein! – twitter.com


💡 Link Tipps aus der Open Source Welt

Checkov: Policy-as-Code Framework

Checkov ist ein Policy-as-Code Framework, welches eure Infrastructure as Code Beschreibungen managed und analysiert. Checkov unterstützt hierbei Terraform, CloudFormation, Kubernetes, Helm, ARM Templates und Serverless Framework.
Checkov ist das Open-Source Produkt des SaaS Angebots bridgecrew, welches mittlerweile zu Prisma Cloud gehört.

https://github.com/bridgecrewio/checkov

External Secrets Operator für Kubernetes

Der External Secrets Operator ist ein Kubernetes Operator, welcher Secrets von 3rd Party Diensten nach Kubernetes synchronisiert. Als Backends werden momentan sämtliche Public Cloud Anbieter unterstützt (AWS Secrets Manageer, Azure Key Vault, Google Secrets Manager, Oracle Vault, Yandex Lockbox). Der Operator funktioniert ebenfalls mit den unabhängigen Tools Hashicorp Vault und GitLab Project Variables.

https://github.com/external-secrets/external-secrets/

SLO Tracker: SLO und Error Budget Tracking

Der SLO Tracker ist ein Open-Source Tool, welches euch hilft eure SLOs und Error Budgets zentral zu überwachen.
Über Webhooks greift der Tracker auf Prometheus, Grafana, Pingdom, New Relic und Co. zurück und stellt im SLO Violation Dashboard Abweichungen von einer definierten SLO dar.
Das Demo Dashboard könnt ihr euch hier anschauen: http://demo.slotracker.com:3000/ (User/PW: admin)

https://github.com/roshan8/slo-tracker


❓ Feedback & Newsletter Abo

Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.

Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!


Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

Please enter a valid email address
Diese E-Mail ist bereits registriert.
The security code entered was incorrect
Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.


  • Neueste Beiträge

  • Neueste Kommentare

  • 0

    Share

    By About

    Schreibe einen Kommentar

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

    allesnurgecloud.com

    © 2021 allesnurgecloud.com