Stephen Chung | shutterstock.com

Cloud-Observability ist für die meisten modernen Unternehmen ziemlich wichtig. Schließlich tragen die so gewonnenen Einblicke dazu bei, die Anwendungsfunktionalität aufrechzuerhalten und eine reibungslose Benutzererfahrung zu gewährleisten. Gleichzeitig steigen die Kosten aufgrund stetig wachsender Telemetriedatenmengen (Protokolle, Metriken, Traces) quasi im Minutentakt. In Sachen Observability nun Kompromisse einzugehen, um die Kosten zu senken, ist allerdings kein Weg, den Sie beschreiten sollten.

In diesem Beitrag bringen wir Ihnen einige Strategien und Best Practices näher, mit denen sich Cloud-Observability-Kosten optimieren lassen.

Observability-Kostentreiber

Bevor wir uns mit Lösungsansätzen für ausufernde Observability-Rechnungen befassen, werden wir einen Blick auf die Faktoren, die die Kosten für Observability regelmäßig treiben.

• Data Ingestion: Je mehr Protokolle, Metriken und Traces Sie aufnehmen, desto teurer wird es. Dazu zählen etwa Daten aus Anwendungen, Infrastruktur, Netzwerken und von Drittanbieter-Services.
• Data Retention: Große (historische) Datenmengen langfristig zu speichern, ist ebenfalls teuer.
• High-Cardinality-Metriken: Kennzahlen mit vielen einzigartigen Labels oder Dimensionen können dazu führen, dass Datenpunkte explosionsartig zunehmen und die Storage-Anforderungen steigen.
• Overcollection: Daten zu erfassen, die nie in Echtzeit für Monitoring-, Alert- oder Analysezwecken verwendet werden, treibt die Kosten unnötig in die Höhe.
• Tool-Wildwuchs: Unterschiedliche Observability-Tools, die nicht miteinander verbunden sind, können zu Data-Ingestion-Duplikaten und damit zu einem erhöhten Management-Aufwand führen.
• Mangelndes Kostenbewusstsein: Wenn niemand sich um die finanziellen Konsequenzen Gedanken macht, sind bodenlose Rechnungen vorprogrammiert.

Observability-Kostenoptimierung

Im Folgenden sechs Techniken, Taktiken und Best Practices, um die Observability-Kosten bestmöglich in Schach zu halten.

1. Datenerfassung optimieren

In diesem Bereich lassen sich die Observability-Kosten am effektivsten senken. Stellen Sie sicher, dass nur die Daten erfasst werden, die wirklich wichtig sind.

• Logs, Metriken und Traces filtern: An der Quelle sollte aggressiv gefiltert werden, um Debug-Protokolle, nicht relevante Informationen oder Daten aus nicht kritischen Diensten zu entfernen. Einige Observability-Plattformen ermöglichen auch, Logs zu filtern, bevor diese erfasst werden. In Bezug auf Metriken sollten Sie sich auf diejenigen fokussieren, die sich auf die App-Performance, die Benutzererfahrung und die Ressourcennutzung auswirken – und unnötige oder ungenutzte verwerfen. Was Traces angeht: Konzentrieren Sie sich auf geschäftskritische Transaktionen und verteilte Traces, die Ihr Unternehmen dabei unterstützen, Serviceabhängigkeiten zu verstehen.
• Strategische Stichproben erwägen: Für Datenströme mit hohem Volumen (insbesondere Traces und Protokolle) sollten Sie intelligente Sampling-Verfahren in Betracht ziehen. Damit ist es möglich, statistisch signifikante Teilmengen der Daten zu erfassen. Das reduziert wiederum das Datenvolumen, während Anomalien weiterhin erkannt und Trends analysiert werden können.
• Scrape-Intervalle berücksichtigen: Ist es wirklich nötig, alle zehn Sekunden Metriken zu scrapen, wenn alle 60 Sekunden auch ausreichen würde, um einen Überblick über den jeweiligen Service zu erhalten? Indem Sie diese Scrape-Intervalle anpassen, können Sie die Anzahl der Datenpunkte erheblich reduzieren.
• Datentransformation regeln: Transformieren Sie Rohdaten in ein kompakteres und effizienteres Format, bevor Sie sie erfassen. Das kann etwa umfassen, Logs zu parsen, um ausschließlich relevante Felder zu extrahieren.
• Komprimierungstechniken einsetzen: Die meisten Observability-Plattformen stellen spezifische Komprimierungstechniken zur Verfügung, um das zu speichernde Datenvolumen drastisch zu reduzieren.

2. Data-Retention-Richtlinien smart gestalten

Daten vorzuhalten, ist eine äußerst kostspielige Angelegenheit. Sie sollten deshalb auf ein mehrstufiges Storage-Konzept setzen, indem Sie intelligente Data-Retention-Richtlinien aufsetzen.  

• Storage-Tiers ermitteln: Daten mit hoher Granularität müssen für kürzere Zeiträume (sieben bis 30 Tage für detaillierte Fehlerbehebung) aufbewahrt werden, ältere Daten, auf die vergleichsweise seltener zugegriffen wird, hingegen archiviert und langfristig gespeichert werden (in S3 oder Glacier für Compliance- und historische Analysen).
• Aufbewahrung nach Datentyp: Nicht alle Daten passen in denselben Retention-Zeitraum. Einige, etwa Anwendungsprotokolle für die sofortige Fehlerbehebung, müssen möglicherweise nur wenige Tage aufbewahrt werden. Andere, beispielsweise Audit-Protokolle, müssen mehrere Jahre vorgehalten werden.
• Archivierung und Löschung automatisieren: Automatisieren Sie Archivierungs- und Löschprozesse entsprechend den definierten Aufbewahrungsrichtlinien.

3. Richtig dimensionieren und Ressourcen optimieren

Observability-Tools können Sie dabei unterstützen, Ineffizienzen in Ihrer Cloud-Infrastruktur zu identifizieren und dadurch Kosten zu sparen.

• Ressourcenverschwendung erkennen: Mit den Daten die Observability-Tools liefern, ist es etwa möglich, ungenutzte oder nicht ausgelastete Ressourcen (EC2-Instanzen, Datenbanken, Load Balancer) zu identifizieren. Diese können dann entweder ausgemustert oder richtig dimensioniert werden.
• Automatisch skalieren: Nutzen Sie die Möglichkeit, Rechenkapazität automatisch proportional zum Bedarf zu skalieren. Das gewährleistet, dass Sie ausschließlich für das bezahlen, was Sie auch tatsächlich nutzen.
• Sparmöglichkeiten nutzen: Geht es umvorhersehbare Workloads, macht es Sinn einen Blick auf die Rabatte zu werfen, die die Cloud-Anbieter für Reserved Instances oder im Rahmen von Sparplänen anbieten. Für fehlertolerante Workloads, die unterbrochen werden können, realisieren Spot-Instanzen regelmäßig erhebliche Rabatte.
• Storage optimieren: Nutzen Sie unterschiedliche Storage-Klassen (etwa S3 Standard, S3 Intelligent-Tiering, S3 Glacier) entsprechend der Datenzugriffsmuster und Retention-Anforderungen.

4. Observability dezentralisieren

Erwägen Sie Strategien, um die Abhängigkeit von einer einzelnen, unter Umständen teuren Observability-Plattform zu reduzieren.

• Open-Source-Lösungen evaluieren: Unternehmen, die über entsprechendes Knowhow verfügen, können quelloffene Tools wie Grafana, Prometheus, Loki oder Jaeger selbst hosten, um (Infrastruktur-)Kosten zu sparen. Dabei gilt es jedoch, den Betriebsaufwand im Auge zu behalten.
• Gemischte Ansätze erwägen: Nutzen Sie kommerzielle Observability-Plattformen wie Middleware oder DataDog für unternehmenskritische Anwendungen. Für weniger kritische Daten oder Use Cases können Open-Source- oder native Cloud-Logging-Lösungen zum Einsatz kommen.
• Native Cloud-Observability-Tools einsetzen: Nutzen Sie die Monitoring-/Logging-Services Ihres Cloud-Anbieters (etwa AWS CloudWatch, Google Cloud Monitoring oder Azure Monitor). Diese stellen im Regelfall die kostengünstigsten Optionen dar, um grundlegende Telemetriedaten zu erfassen und zu speichern.

5. FinOps-Kultur fördern

Observability-Kosten zu optimieren, ist nicht nur eine technische, sondern auch eine kulturelle Herausforderung.

• Wissen vermitteln: Schulen Sie Entwickler und Betriebsteams hinsichtlich der Kostenauswirkungen ihrer Observability-Entscheidungen. Das kann dazu beitragen, eine „kostenbewusste” Entwicklungskultur zu schaffen.
• Budgets und Warnmeldungen definieren: Legen Sie ein klares Budget für Observability-Ausgaben fest und richten Sie Alerts ein, die anschlagen, wenn dieses erreicht ist oder überschritten wird.
• Kosten verteilen und verrechnen: Es empfiehlt sich, Tags und Labels einzuführen, anhand derer die Observability-Kosten fair auf Teams, Projekte oder Geschäftsbereiche verteilt werden können. Das trägt auch dazu bei Accountability herzustellen.
• Observability-Ausgaben regelmäßig prüfen: Nur wenn Sie die Kosten wirklich dauerhaft im Blick behalten, können Sie auch besonders teure Probleme identifizieren, Nutzungsmuster analysieren und weitere Optimierungsmöglichkeiten auftun. Cost-Management-Dashboards können an dieser Stelle äußerst hilfreich sein.

6. KI und Machine Learning einsetzen

Mit Hilfe von KI und ML lassen sich die Observability-Kosten zusätzlich optimieren.

• Anomalieerkennung einsetzen: Identifizieren Sie ungewöhnliche Lastspitzen bei der Datenerfassung oder Ressourcenauslastung, die auf Ineffizienz oder Fehlkonfigurationen hindeuten.
• Predictive Analytics nutzen: Antizipieren Sie Observability-Anforderungen und -Kosten auf der Grundlage historischer Trends, um anschließend proaktiv zu optimieren.
• Fehler automatisiert beheben: Einige Plattformen können auf der Grundlage erkannter Anomalien spezifische Maßnahmen automatisieren (etwa Ressourcen reduzieren), was Verschwendung reduziert.

(fm)

Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten – direkt in Ihre Inbox!