Frohe Feiertage an alle! Unser Team hat hart gearbeitet, um in diesem Jahr ein letztes Update zu veröffentlichen, das mit aufregenden neuen Funktionen und Verbesserungen gefüllt ist.

In diesem Update liegt der Schwerpunkt auf der Verbesserung der Sichtbarkeit und der Bereitstellung von Echtzeitdaten für immer mehr Menschen in Ihrer Organisation, einschließlich einer sehr leistungsstarken Funktion, die SQL-Abfragen auf Kafka vereinfacht, um die Art und Weise, wie Sie Echtzeitdatenanalysen durchführen, zu transformieren.

Aber das ist noch nicht alles, wir verbessern auch weiterhin die Teamarbeit mit teilbaren Filtern, geben Ihnen Kontrolle darüber, welche Themen im Themenkatalog geteilt werden sollen, wir haben unsere Audit-Logs handlungsfähig gemacht und viel mehr.

Werfen wir einen genaueren Blick auf einige dieser Punkte.

Erhalten Sie Echtzeit-Einblicke mit SQL auf Kafka

Apache Kafka treibt ereignisgesteuerte Architekturen in Echtzeit an, aber das Abfragen seiner Daten erfordert oft, dass sie in externe Systeme dupliziert werden, was zu operationellen Überkopfkosten, fehlgerichteten Sicherheitsrichtlinien und Verzögerungen führt.

Unsere neue SQL auf Kafka Funktion kann die meisten dieser Probleme lösen und Teams dabei helfen, schnell umsetzbare Einblicke aus sowohl Echtzeit- als auch historischen Datenströmen zu gewinnen. Conduktor verbessert dieses Erlebnis mit Funktionen wie granularem RBAC, um den Zugriff nach dem Prinzip der minimalen Berechtigung sicherzustellen, konfigurierbarer Kontrolle darüber, welche Themen und wie viele Daten für Abfragen indexiert werden, und einer nahtlosen Transformation von Kafka-Daten in ein spaltenbasiertes Tabellenformat für einfaches Abfragen.

Indem Sie die Zugänglichkeit von SQL für Kafka bringen, integriert mit unserem Sicherheitsmodell auf Unternehmensniveau, können Sie sicher mehr Teams befähigen, schneller und intelligenter zu innovieren. Schließlich ist SQL die universelle Sprache der Daten, die von Ingenieuren, Analytikern und Geschäftsteams verstanden wird.

Dateningenieure können jetzt SQL für Aufgaben wie die Erkundung von Rohdatenströmen, die Fehlersuche in Datenpipelines und das Debuggen von Kafka-Nachrichten verwenden, während sie Sicherheit und Compliance mit Maskierung und Zugriffskontrollen gewährleisten.

Geschäftsteams können geschäftskritische Ereignisse wie Bestellungen und Kundeninteraktionen mit einem agilen, bedarfsgerechten Ansatz ohne permanente Speicherung analysieren, was Echtzeitanalysen agil und kosteneffektiv macht.

Ops-Teams können Kafka-Metadaten wie Zeitstempel, Offsets und Kompressionstyp abfragen, um die Leistungsoptimierung zu informieren, die Nutzung von Kafka-Ressourcen zu überwachen und Probleme wie die Identifizierung von Duplikaten zu beheben.

Lesen Sie unseren aktuellen Blog über Die Transformation von Echtzeitdaten in sofortige Einblicke, um mehr über SQL über Kafka zu erfahren und es in Aktion zu sehen.

Wir haben die Homepage und die Verbraucherguppen in unserer Benutzeroberfläche überarbeitet, um ein informatives und nützliches Erlebnis zu bieten.

Ihre Kafka-Cluster-Gesundheit auf einen Blick

Unsere neu gestaltete Homepage bringt alles, was Sie brauchen, in eine Ansicht!

• Überprüfen Sie sofort die Gesundheit Ihres Kafka-Clusters mit wichtigen Kennzahlen und Grafiken

• Überwachen Sie den zustand der Konsole Indexierungs-Module

• Greifen Sie schnell auf Ihre zuletzt angesehenen Ressourcen zu.

Es geht darum, kritische Einblicke direkt zur Hand zu haben!

Verbesserte Einblicke in Verbraucherguppen

Wir haben auch die Seite der Verbraucherguppe überarbeitet, um mehr Klarheit und Kontrolle zu bieten. Der Reiter "Themen" gruppiert Daten nach abonierten Themen, und der Reiter "Mitglieder" ordnet Informationen nach aktiven Mitgliedern. Drillen Sie ganz einfach zu einzelnen Mitgliedern oder Themenpartitionen.

Übernehmen Sie die Kontrolle mit selbständigen Themenansichten

Daten teilen wurde intelligenter! Jetzt können Sie genau festlegen, welche Themen zu teilen sind, im Themenkatalog, und behalten die volle Kontrolle über Ihre internen Daten und machen nur die richtigen Informationen für andere Teams oder vertrauenswürdige Partner zugänglich.

---
apiVersion: kafka/v2
kind: Topic
metadata:
  cluster: shadow-it
  name: click.event-stream.avro
  catalogVisibility: PUBLIC # or PRIVATE
spec:
  ...

Bessere Zusammenarbeit und Abräumen von Silos mit teilbaren Filtern

Filter in der Ansicht "Thema konsumieren" sind jetzt teilbar, was die Teamarbeit mühelos macht. Teilen Sie vordefinierte Ansichten, um sicherzustellen, dass alle mit dem gleichen Datensatz arbeiten, Zeit sparen mit wiederverwendbaren Filtern und Konsistenz beibehalten zwischen Teams. Speichern Sie Filter ganz einfach als privat oder organisationsweit, um die Fehlersuche und Analyse zu optimieren.

Audit-Ereignisse handlungsfähig machen mit exportierbaren Audit-Logs

Veröffentlichen Sie einfach Audit-Log-Ereignisse direkt in ein Kafka-Thema, um Ihre eigene Audit-Trail in externen Systemen zu exportieren oder zu verwalten. Diese Funktion macht Audit-Ereignisse handlungsfähig—verbrauchen Sie den Stream als Anwendung und lösen Sie Aktionen wie das Erstellen eines ServiceNow-Tickets für spezifische Ereignisse aus, was Ihnen mehr Kontrolle und betriebliche Effizienz verschafft.

Die Ereignisse entsprechen der CloudEvents-Spezifikation, einem plattformneutralen Format. Hier ein Beispiel:

{
	"source": "//kafka/kafkacluster/production/topic/website-orders",
	"data": {
		"eventType": "Kafka.Topic.Create",
		// Additional event specific data...
		"metadata": {
			"name": "website-orders",
			"cluster": "production"
		}
		// Additional event specific metadata...
	},
	"datacontenttype": "application/json",
	"id": "ad85122c-0041-421e-b04b-6bc2ec901e08",
	"time": "2024-10-10T07:52:07.483140Z",
	"type": "AuditLogEventType(Kafka,Topic,Create)",
	"specversion": "1.0"
}

Die Zuverlässigkeit mit breiterer Hochverfügbarkeitsunterstützung stärken

Die unterstützende Datenbank von Conduktor—die wichtige Konfigurationen wie Benutzer und Berechtigungen speichert—unterstützt jetzt ein Hochverfügbarkeits-Setup mit mehreren Hosts für PostgreSQL, um sicherzustellen, dass Sie ununterbrochenen Zugriff und konsistente Leistung genießen, selbst im Angesicht unerwarteter Herausforderungen.

Das sind einige der Highlights! Für eine vollständige Liste aller Funktionen, Fixes und Verbesserungen lesen Sie bitte das Änderungsprotokoll.