allesnurgecloud.com ist ein kuratierter Newsletter mit Inhalten aus der Open-Source, Cloud und IT-Welt.
Für weiteren Content folge mir gerne auf Twitter, Mastodon oder LinkedIn.

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

506 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address

Diese E-Mail ist bereits registriert.

The security code entered was incorrect

Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.

Yelp entwickelt ElasticSearch Alternative Nrtsearch

Das Empfehlungsportal Yelp ersetzt seine große Elasticsearch Installation durch eine Eigenentwicklung auf Basis von Apache Lucene. Warum wollte Yelp Elasticsearch überhaupt ersetzten? Mit Zunahme der Use-Cases konnten die Kosten nicht so skalieren, wie gewünscht. Die Probleme:

• Dokument basierte Replikation: Musste auf jedem Node erfolgen, mit Anzahl der Nodes steigt die Anzahl der nötigen CPU Nodes
• Elasticsearch kontrolliert die Shard Verteilung – welche somit nicht gleichmäßig auf alle Nodes erfolgte
• Automatische Skalierung schwierig: Realtime Skalierung von Backend Nodes sei kompliziert, vor allem wenn man eine gleichmäßige Auslastung sicherstellen möchte

Nach einem Talk von Amazon über die Lucene Engine sah man darin zwei Vorteile.

• Near-real-time Replication: Replica Nodes können bereits indizierte Dokumente einfach vom Primary beziehen, anstatt sie nochmals selbst zu indizieren
• Concurrent Search: Lucene kann mehrere Indizies parallel durchsuchen und damit voll von Muti-cCore CPUs profitieren.

Elasticsearch hatte keine Pläne, die beiden Lucene Features zu implementieren – zumindest laut dem verlinkten Eintrag im Community Forum von 2018.
Im Blog Beitrag wird das Design der neuen Suche beschrieben, und das Projekt, welches als Basis diente: LuceneServer.
Am Ende konnte Yelp durch ihre neue Suche eine Performance-Verbesserung von 30-50% erreichen, und das bei um bis zu 40% reduzierten Infrastruktur Kosten.
Die neue Suche „nrtSearch“ hat Yelp Open-Source veröffentlicht.

engineeringblog.yelp.com: Nrtsearch: Yelp’s Fast, Scalable and Cost Effective Search Engine

„Gefährliche Online Werbung“: NSA und CIA nutzen Ad Blocker

Die amerikanischen Sicherheitsdienste nutzen doch tatsächlich AdBlocker, um sich vor der bösen Internet Werbung und dem damit verbundenen Tracking zu schützen. In der Argumentation geht es hauptsächlich um den Schutz vor „Malicious Ads“, also Werbung, welche Sicherheitslücken in Browsern ausnutzt, um dem Browser Malware und ähnliches unterzuschieben.
Allerdings möchte man auch vermeiden, dass „Daten Händler“ im großen Stil Informationen über Mitarbeiter der Behörden speichern und weiterverkaufen – oh the Irony.

vice.com: The NSA and CIA Use Ad Blockers Because Online Advertising Is So Dangerous

Sponsored

Dein Einstieg ins Cloud Engineering!

Als superluminar GmbH bieten wir Cloud Consulting für Unternehmen, Startups und Organisationen an. Unser Büro ist in Hamburg, wir arbeiten aber überwiegend remote.

Wir verstehen nicht nur die modernsten Technologien, wir schauen auch auf Menschen und Prozesse. So unterstützen wir Organisationen bei der Transition hin zu moderner Produktentwicklung. Ein Mit statt für euch ist dabei unser Motto. Zu unseren Kunden zählen z.B. Fielmann, Immowelt, MOIA und Dance, wir achten auf einen gesunden Mix zwischen Enterprise-Welt und Startups.

Als Junior Consultant Cloud Engineering (m/w/d) unterstützt du unsere Kunden bei dem Weg in und durch die AWS Cloud. Der Fokus liegt dabei auf Engineering-Beratung, Coaching und Trainings. Werkverträge, Arbeit nach Pflichtenheft oder Body-Leasing gibt es bei uns nicht. Gerne darfst du in Teilzeit arbeiten, dir ein Firmenfahrrad aussuchen und von nachhaltiger Betrieblicher Altersvorsorge sowie Kita-Zuschüssen profitieren.

Mehr erfahren!

ClickHouse mit $50 Millionen Series A Funding

Auf das high-performance, Open-Source Datenbank System ClickHouse hatte ich in Ausgabe #26 schon hingewiesen. ClickHouse ist die Alternative zu den großen, kostenpflichtigen Systemen, um große Datenmengen in vernünftiger Geschwindigkeit zu analysieren.
ClickHouse ist ursprünglich im Hause Yandex für denen Google Analytics Mitbewerber „Yandex.Metrica“ entstanden.
Für die Weiterentwicklung hat man sich nun für die Ausgründung als „Clickhouse, Inc.“ entschieden und ein $50 Millionen Series A Funding von Benchmark Capital und Index Ventures gesichert.
ClickHouse hat einige beeindruckende Case Studies verlinkt:

• Spotify: „Spotify’s A/B Experimentation platform is serving thousands of sub-second queries per second on petabyte-scale datasets with Clickhouse“ – zur Case Study
• Deutsche Bank: „ClickHouse helps serve the Client Analytics platform for reporting, deep data analysis as well as advanced data science to provide Deutsche Bank’s front office“ – zur Case Study
• Cloudflare: „By moving their HTTP analytics data to ClickHouse they were able to scale to 8M requests per second, deleted 10’s of thousands of lines of code, reduced their MTTR, and saw a 7x improvement on customer queries per second they could serve“ – zur Case Study
• Uber: „Uber moved it’s logging platform to ClickHouse increasing developer productivity and overall reliability of the platform while seeing 3x data compression, 10x performance increase, and ½ the reduction in hardware cost.“ – zur Case Study
• eBay: „The simplified architecture with ClickHouse allowed them to reduce their DevOps activity and troubleshooting, reduced the overall infrastructure by 90%, and they saw a stronger integration with Grafana and ClickHouse for visualization and alerting“ – zur Case Study

Arbeitest du oder deine Firma mit großen Datenmengen und willst diese schnell analysieren – dann solltet ihr euch ClickHouse unbedingt mal ansehen.

clickhouse.com: „Introducing ClickHouse, Inc.“

17 weitere Wege, Container in AWS zu betreiben

Corey Quinn von lastweekinaws.com hatte im Sommer schon 17 Wege vorgestellt, wie man Container auf AWS betreiben kann, in Ausgabe #21 hatte ich darüber berichtet.
Nun hat er 17 weitere Möglichkeiten veröffentlicht, wie man Container in AWS betreiben kann.
Darunter sind Dienste, von denen ich noch nie gehört habe, aber ggf. sind Sie auch einfach nur aus dem AWS Namens-Mixer gefallen:

• Amazon GameLift
• Amazon RoboMaker
• Amazon Sagemaker
• AWS Nitro Enclaves

Kein Wunder, gibt es nicht heute 283 verschiedene AWS Services – schwer, hier den Überblick zu behalten.
Bei Corey Quinn startete das Ganze Thema „Container in AWS“ übrigens scherzhaft als Meme.
So, und nun – Hand aufs Herz – wer kennt die in Summe 34 Möglichkeiten, Container in AWS zu betreiben?

lastweekinaws.com: 17 More Ways to Run Containers on AWS

Altes Let’s Encrypt Root Certificate läuft am Donnerstag aus

Am 30. September 2021 läuft ein älteres Let’s Encrypt Root Zertifikat aus. Scott Helme schreibt dazu. in seinem Blog:

You may or may not need to do anything about this Root CA expiring, but I’m betting a few things will probably break on that day so here’s what you need to know!

Let’s Encrypt hat bisher über 2 Milliarden Zertifikate ausgestellt, und der ein oder andere Dienst, wird am 30. September sicherlich nicht funktionieren. Die Macher von Let’s Encrypt sind im Jahre 2019 schon auf ihr eigenes Root CA migriert, das „ISRG Root X1“, welches erst am 4. Juni 2035 ausläuft. Viele Devices hatten dieses aber noch nicht integriert, beispielsweise Android erst im Januar 2021 – die Migration wurde also verschoben.
Scott listet in seinem Blog Eintrag betroffene Devices und Operating Systeme, wie immer ohne Gewähr:

• OpenSSL <= 1.0.2
• Windows < XP SP2
• macOS < 10.12.1
• iOS < 10 (iPhone 5 is the lowest model that can get to iOS 10)
• Android < 7.1.1 (but >= 2.3.6 will work if served ISRG Root X1 cross-sign)
• Mozilla Firefox < 50
• Ubuntu < 16.04
• Debian < 8
• Java 8 < 8u141
• Java 7 < 7u151
• NSS < 3.26
• Amazon FireOS (Silk Browser)

Das Root Zertifikat läuft am kommenden Donnerstag, um 14:01:15 GMT – also um 16:01 deutscher Zeit aus.
Viel Spaß und jetzt schon mal #HugsOps and die Betroffenen.

Let’s Encrypt’s Root Certificate is expiring!

Fehler in iCloud leaked IP Adressen der „Private Relay“ User

Browser und OS Hersteller versuchen schon seit einigen Jahren, die Daten der User weiter abzusichern, bzw. nur für sich selber nutzbar zu machen. Apple hat hierfür einen Dienst namens „iCloud Private Relay“ gelaunched, eine Mischung aus TOR und VPN Dienst (Quelle: Spiegel Online).
Über eine Lücke im WebRTC Protokoll (genutzt für Audio und Video Übertragung innerhalb des Browser, beispielsweise bei Web Konferenz-Software) konnten Sicherheitsforscher von FingerprintJS nun die Client IP Adressen von Nutzern des „iCloud Private Relay“ herausfinden. Die Lücke wird von den Forschern in einem Blog Artikel ausführlich erklärt. Apple müsse zudem Safari patchen, damit man diese Lücke nicht mehr ausnutzen kann.

appleinsider.com: iCloud Private Relay flaw leaks users‘ IP addresses

Typische AWS Fehler zusammengefasst

Im Blog des PHP Frameworks Laravel gibt es einen aktuellen Artikel zu Erfahrungen mit AWS, dessen Findings ich euch kurz zusammenfassen wollte:

• CPU Credit System bei vermeintlich kosten günstigen T2/T3/T4 Instanzen: Habt ihr Applikationen, die CPU Bursts verursachen, beispielsweise Datenbanken, dann werden diese Systeme unter Umständen deutlich teurer. Ihr müsst also eure CPU Credits im Auge behalten.
• AMD CPUs können 10% günstiger sein, bei teilweise gleicher oder minimal schlechterer Performance. Dies sind übrigens die Instanzen mit dem kleinen „a“ im Namen – T3 – Intel CPU, T3a – AMD CPU
• GP3 Volumes solltet ihr GP2 Volumes bevorzugen, aber Achtung: GP2 Volumes funktionieren aktuell nicht mit allen RDS Systemen

Schaut mal in den Artikel rein, es gibt dort noch weitere Hinweise zu Metriken, IOPS und co.

laravel-news.com: Mistakes I’ve Made in AWS

❓ Feedback & Newsletter Abo

Vielen Dank, dass du es bis hierhin geschafft hast!
Kommentiere gerne oder schicke mir Inhalte, die du passend findest.

Falls dir die Inhalte gefallen haben, kannst du mir gerne auf Twitter folgen.
Gerne kannst du mir ein Bier ausgeben oder mal auf meiner Wunschliste vorbeischauen – Danke!

Möchtest du den Newsletter wöchentlich per E-Mail erhalten?
Einfach hier abonnieren:

506 Abonnenten sind schon dabei - Vielen Dank!

Please enter a valid email address

Diese E-Mail ist bereits registriert.

The security code entered was incorrect

Vielen Dank für Deine Anmeldung - bitte den Opt-In bestätigen.