Über Flix
Flix ist an der Spitze der grünen Passagermobilität und verbindet Millionen mit über 5.500 Zielen in mehr als 40 Ländern. Mit über 400.000 täglichen Passagierverbindungen verlässt sich Flix stark auf Echtzeitdaten, um kritische betriebliche Entscheidungen zu treffen.
Flix skaliert Kafka-Datenstromoperationen von 25 auf 50 Teams mit Conduktor. Optimierung der Flottenverfolgung, Routeneffizienz und KI-gesteuerten Kundenerlebnissen in ganz Europa und Nordamerika.
"Conduktor lässt sich problemlos in unsere CI/CD-Pipelines integrieren, um die Datenverwaltung zu verbessern. Es hat uns die Werkzeuge bereitgestellt, um Compliance-Standards im gesamten Unternehmen zu zentralisieren, während es team-spezifische Autonomie ermöglicht, um unsere Prozesse zu beschleunigen. Es war zentral für unsere Strategie der vereinheitlichten Datenplattform."
Taras Slipets - Dateningenieur bei Flix
Digitalisierung des traditionellen Busreisens mit Kafka
Als Unternehmen an der Schnittstelle von Tech-Startup, E-Commerce-Plattform und Transportunternehmen ist Daten das Lebenselixier von Flix. Kafka spielt eine entscheidende Rolle bei der Verwaltung riesiger Datenströme in Echtzeit, von Fahrzeugstandorten bis hin zu Kundenfeedback, wodurch Flix in der Lage ist:
Busfahrpläne dynamisch in Echtzeit zu ändern
Routen zu optimieren durch Analyse von Verkehrsmustern und Fahrzeugdaten
Schnell auf Kundenfeedback zu reagieren, um die Servicequalität und Kundenzufriedenheit zu verbessern
Kafkas Wachstumsschmerzen
Als Flix expandierte, nahm auch die Komplexität seiner Kafka-Infrastruktur zu. Innerhalb von fünf Jahren stieg die Nutzung von Kafka bei Flix auf über 2.300 Themen und 9.300 Partitionen.
10 Domains
50 Teams
2.300 Themen
9.500 Partitionen
Die Nichterfassung des Eigentums während der Kafka-Implementierung kann zu zukünftigen Komplikationen führen, wenn Teams bestehende Datenströme entdecken, darauf zugreifen und sie teilen müssen. Bei unterschiedlichen Zugriffsarten und komplexen Berechtigungseinstellungen stellt das Management eines Datenbetriebs dieser Größe mehrere Herausforderungen dar:
Die Verwaltung von Berechtigungen und Zugriffskontrollen über globale Teams hinweg, während gleichzeitig lokale Datenrichtlinien und Datenschutzbestimmungen eingehalten werden, wurde komplex.
Das Fehlen einer einzigen Benutzeroberfläche für technische und nicht-technische Benutzer, um unabhängig auf Kafka-Daten zuzugreifen, hat einen Engpass bei der Bearbeitung von Zugriffsanfragen geschaffen.
Das Entdecken verfügbarer Daten, das Anzeigen von Schemas und das Filtern von Streams war für Analysten ohne Plattform für Beobachtbarkeit und vereinfachte Datenexploration schwierig.
Ohne eine einheitliche Ansicht des Datenzugriffs war es herausfordernd, proaktiv Datenpipelines und -speicher zu konsolidieren, um übermäßige Kosten zu verhindern.
Datenmanagement und Sicherheit in einem skalierbaren Ökosystem mit Kafka
Bei Flix hat der Schutz von Daten höchste Priorität. Die sensible Natur von Zahlungstransaktionen und persönlichen Informationen, die für Reisebuchungen erforderlich sind, machte den Datenschutz zu einer kritischen Angelegenheit, insbesondere bei der Entwicklung neuer Zugangskontrollprozesse. Die Herausforderung bestand darin, diese Prozesse zu optimieren, ohne die Komplexität und den Aufwand benutzerdefinierter Synchronisationstools.
Um dies anzugehen, hat Flix einen ressourcenorientierten Ansatz übernommen, der sich von traditionellen benutzerzentrierten Modellen abwendet. Dieser Übergang optimierte nicht nur die Sicherheitsprotokolle, sondern verbesserte auch die Effizienz des Datenmanagements.
Die neue Strategie basiert auf den Prinzipien des Data Mesh-Konzepts, das den Teams die Verantwortung für ihre Daten und Projekte innerhalb eines föderierten Kontrollrahmens übergibt, wodurch operationale Engpässe beseitigt werden und es den Teams ermöglicht wird, schneller Werte zu liefern.
Dieser Ansatz wird durch:
Ressourcenorientierte Berechtigungen: Berechtigungen sind spezifisch an Ressourcen gebunden, wodurch die Kontrolle über wichtige Vermögenswerte zentralisiert wird, anstatt sie über umfangreiche Benutzerzugriffe zu zerstreuen.
Verteilte Governance: Die Entscheidungsfindung ist dezentralisiert, wodurch Ressourcenbesitzer—wie einzelne Teams oder Abteilungen—den Zugang zu ihren jeweiligen Ressourcen verwalten können.
Zentraler Rahmen: Trotz der dezentralen Governance der Ressourcen bleibt die gesamte Aufsicht unter einem kohärenten Rahmen, der Konsistenz gewährleistet und umfassende Sicherheit und Compliance in der gesamten Organisation aufrechterhält.
Dieser strukturierte, aber flexible Ansatz ermöglicht es Flix, hohe Sicherheits- und Governance-Standards aufrechtzuerhalten, während die Teams befugt werden, ihre Daten effektiv zu verwalten.
Verwalten einer modularen Datenarchitektur mit Conduktor
Flix hat eine modulare Datenarchitektur implementiert, die individuelle YAML-Dateien für die Kafka-Ressourcen jedes Teams nutzt. Diese Modularität bietet erhebliche Vorteile:
Klare Verantwortung: Identifiziert eindeutig das Team, das für Ressourcen innerhalb eines bestimmten Namensraums verantwortlich ist.
Begrenzte Leckage: Begrenzte Probleme mit übermäßig nachsichtigen Zugriffseinstellungen auf die betroffene Ressource, wodurch breitere Sicherheitsprobleme verhindert werden.
Überprüfbare Änderungen: Nutzt CI/CD-Tools wie GitLab, um alle Änderungen zu verfolgen, komplett mit einer Merge-Historie, was sowohl die Verantwortlichkeit als auch die Transparenz im Datenmanagement verbessert.
Fördert die Zusammenarbeit: Teams können über Pull-Requests Zugriff auf die Ressourcen eines anderen Teams anfordern. Teamleiter haben die Autonomie, Anfragen zu genehmigen oder abzulehnen, ohne eine zentrale Autorität einbeziehen zu müssen.
Wie es funktioniert:
Flix's föderiertes Kafka-Sicherheitsmanagementsystem funktioniert durch eine Kombination aus Open-Source-Technologien und strukturierten CI/CD-Workflows. Dieser Ansatz gewährleistet ein effizientes, skalierbares und sicheres Management von Kafka-Ressourcen und -Berechtigungen über mehrere Teams hinweg.
Schritt für Schritt:
Jedes Team hat eine ressourcenorientierte Kafka-YAML-Datei, die im Namespace jedes Teams lebt. Die Datei definiert den Eigentümer und legt die Berechtigungen fest, die anderen Teams gewährt werden.
Änderungen an diesen Dateien lösen CI/CD-Workflows aus, die die Konfigurationen durch föderierte Governance validieren.
Diese Dateien werden aggregiert und in ein Format umgewandelt, das mit dem Kafka Security Manager (KSM) kompatibel ist, einem Open-Source-Projekt von Conduktor, das die externe Quelle der Wahrheit in Kafka-ACLs umwandelt.
Die gleichen Dateien werden verwendet, um Berechtigungen in Conduktor zu propagieren, damit die Benutzer mit Kafka interagieren und Probleme beheben können.
Dieser optimierte Workflow stellt sicher, dass jedes Team für die Ressourcen, die es besitzt, verantwortlich ist, während die Berechtigungen einheitlich über die gesamte Datenplattform angewendet werden. Dazu gehören:
Kafka-Zugriffssteuer Listen (ACLs): Steuerung des Anwendungszugriffs auf Ressourcen, um sicherzustellen, dass nur autorisierte Anwendungen mit bestimmten Kafka-Themen und Clustern interagieren können.
Conduktor rollenbasierte Zugriffskontrolle (RBAC): Bereitstellung der erforderlichen Berechtigungen für Teammitglieder, um Kafka-Ressourcen und Daten, auf die sie Zugriff haben, zu verwalten, zu überwachen und zu beheben.
Einführung von Conduktor Self-Service
Durch unsere Zusammenarbeit mit Flix haben wir ein neues Framework entwickelt, um die Zusammenarbeit zwischen Plattform- und Anwendungsteams über die Conduktor-Plattform zu verbessern und das Lifecycle-Management von Kafka-Ressourcen und Zugriffsanforderungen zu optimieren.
Indem wir den Benutzern ermöglichen, sowohl ihre Daten als auch ihre Anwendungen unabhängig zu verwalten, verringert Conduktor die Abhängigkeit von zentralen Teams und fördert den verantwortungsvollen Umgang mit Daten durch intuitive Steuerungen. Die automatisierte Berechtigungsprüfung gewährleistet Sicherheit und Compliance, während konfigurierbare Genehmigungsworkflows mit Ihrem Sicherheitsmodell übereinstimmen. Diese Einrichtung ermöglicht es den Plattformteams, die besten Praktiken für Kafka-Konfigurationen durchzusetzen, Konsistenz zu wahren und Fehler zu minimieren.
Deutschland, Europa
5.500+
