Kafka Selbstbedienung

Es stehen zahlreiche neue Funktionen zur Verfügung, die eine wirklich leistungsstarke Selbstbedienungslösung bieten. Dies ergibt sich aus der Hinzufügung von zwei neuen Ressourcen: dem Subject und der ApplicationGroup.

Definieren Sie, wie Teams auf Ihre Anwendungsressourcen zugreifen

Stellen Sie die verschiedenen Teams dar, die Ihre Anwendung nutzen, indem Sie Gruppenberechtigungen mit der Application Group festlegen, es handelt sich um eine Form von delegiertem RBAC.

Erstellen Sie so viele Gruppen, wie erforderlich sind, um die verschiedenen Teams einzuschränken oder darzustellen, wie etwa ein Supportteam, das nur Leseberechtigungen in der Produktion hat, ein DevOps-Team mit privilegierteren Berechtigungen in verschiedenen Umgebungen oder die Entwickler, die das Produkt pflegen.

apiVersion: self-service/v1
kind: "ApplicationGroup"
metadata:
  application: "clickstream-app"
  name: "clickstream-support"
spec:
  title: Support Clickstream
  description: |
    Members of the Support Group are allowed:
    Read access on all the resources
    Can restart owned connectors
    Can reset offsets
  permissions:
    - appInstance: clickstream-app-dev
      resourceType: TOPIC
      patternType: "LITERAL"
      name: "*" # All owned & subscribed topics
      permissions: ["topicViewConfig", "topicConsume"]
    - appInstance: clickstream-app-dev 
      resourceType: GROUP
      patternType: "LITERAL"
      name: "*" # All owned consumer groups
      permissions: ["consumerGroupCreate", "consumerGroupReset", "consumerGroupView"] 
members:
  - user1@company.org
  - user2@company.org
externalGroups:
  - GP-COMPANY-CLICKSTREAM-SUPPORT

Lassen Sie Anwendungsteams den Lebenszyklus ihrer Subject-Ressource verwalten

Schema-Subjects werden jetzt innerhalb der Selbstbedienung unterstützt, wodurch die verwaltbaren Kafka-Ressourcen innerhalb des Conduktor-Selbstbedienungsrahmens erweitert werden. Befähigen Sie Anwendungsteams mit der automatisierten Bereitstellung von Schemaprogrammen und verbessertem Zusammenarbeiten.

apiVersion: v1
kind: Subject
metadata:
  cluster: shadow-it
  name: myPrefix.topic-value
spec:
  schemaFile: schemas/topic.avsc # relative to conduktor CLI execution context
  format: AVRO
  compatibility: FORWARD_TRANSITIVE

Um diese Vorteile zu nutzen, benötigen Sie das Console 1.24 und müssen die Conduktor CLI auf 0.2.5 aktualisieren.

Automatisieren Sie die Bereitstellung von Benutzern und Gruppen für On-/Offboarding

Ob Sie die Vorteile der delegierten Ressourcenerstellung und der Berechtigungsverwaltung noch nicht nutzen, Sie können dennoch von den neuesten Änderungen profitieren, wenn Sie Gruppen verwalten.

Erstellen Sie Ihre Gruppen und legen Sie Berechtigungen durch IaC für die Conduktor Console fest. Durch das Deklarieren der Group mit den entsprechenden User(s) haben Sie mehr Flexibilität, um die On-/Offboarding-Erfahrung weiter zu automatisieren.

apiVersion: iam/v2
kind: "Group"
metadata:
  name: "devops"
spec:
  displayName: "DevOps team"
  description: "Making devs happy"
  permissions:
    - resourceType: PLATFORM
      permissions: ["userManage"]

  - type: CLUSTER
    name: "my-cluster"
    permissions: ["clusterViewBroker"]

  - type: TOPIC
    cluster: "my-cluster"
    patternType: "LITERAL"
    name: "*" # All topics
    permissions: ["topicViewConfig", "topicConsume"]

  - type: SUBJECT
    cluster: "my-cluster"
    patternType: "LITERAL"
    name: "subject-a"
    permissions: ["subjectCreateUpdate", "subjectDelete"]

members:
  - bob@conduktor.io
  - jane@conduktor.io
externalGroups:
  - GP-COMPANY-DEVOPS

Sehen Sie sich die Referenzdokumente für die vollständige Konfiguration und alle anderen Referenzmaterialien innerhalb von Conduktor an.

Themenkatalog-Filter

Der Themenkatalog hat jetzt Filter! Das Finden und Entdecken Ihrer Themen ist jetzt noch einfacher, indem Sie nach den geschäftlichen Metadaten filtern, die Sie den Themen hinzugefügt haben. Müssen Sie Zugriff auf das Thema anfordern? Fordern Sie den Zugriff an, indem Sie den generierten Snippet zu einem PR für die Genehmigung durch den Eigentümer hinzufügen.

# Topic annotated with useful metadata, see the labels section
---
apiVersion: kafka/v2
kind: "Topic"
metadata:
  cluster: "shadow-it"
  name: clickstream.events
  labels:
    description: "A description for what kind of data this topic contains."
    business-data-classification: C2
    business-doc-url: "https://confluence.company.org/display/CLICK/Kafka"
    application-code: CLK
    environment-code: dev
spec:
  replicationFactor: 3
  partitions: 6
  configs:
    min.insync.replicas: "2"
    cleanup.policy: "delete"
    retention.ms: "60000"

Gibt es sonst noch etwas, das Sie sehen möchten? Wie möchten Sie, dass der Themenkatalog in Ihrer Organisation funktioniert? Lassen Sie es uns über die öffentliche Roadmap wissen oder senden Sie uns eine E-Mail an product@conduktor.io, wir würden uns freuen, von Ihnen zu hören.

Aktive Datenrichtlinien auf der Themen-Konsumseite

Beim Erkunden von Themen werden Felder, die durch aktive Datenrichtlinien maskiert sind, jetzt in einer anderen Farbe angezeigt, während der Richtlinienname auch beim Überfahren sichtbar ist.

Verbesserungen der Lebensqualität

Stale und Noise Themen schnell analysieren

• Themen nach Produktionsrate in msg/s sortieren

• Themen nach der letzten Aktivität sortieren

Mehr über Nachrichten verstehen

• Zwischen Nachrichten mit neuen Nächste & Vorherige Schaltflächen navigieren

• Sehen Sie den Subject-Namen (nur Confluent SR) und die Kompressionsinformationen (Metadaten) für Nachrichten

Consumer-Gruppen neu ausbalancieren

• Consumer-Gruppen durch Entfernen aller statischen Mitglieder mit einem Klick auf eine Schaltfläche neu ausbalancieren

Verbessern Sie die Generierung von Mock-Daten

Die Funktion "Einmal generieren" im Produzieren-Tab generiert jetzt realistischere, randomisierte Nachrichten, insbesondere für Registry-Schemas und JSON.

Klärung, wann Kafka Connect Auto-Reboot aktiv ist

Ein Symbol in der Kafka-Connect-Liste hinzugefügt, um zu informieren, dass die Auto-Reboot-Funktion aktiv ist.

Fazit

Zusammenfassend haben wir die Upgrades aus der neuesten Veröffentlichung von Conduktor erkundet, die die kraftvollen Gruppenfähigkeiten mit sich bringen, die jetzt zum Management durch Infrastructure as Code (IaC) verfügbar sind, sei es in Bezug auf Ihre Anwendung oder allgemeine Konsolengruppen. Wir haben auch die neuen Filtermöglichkeiten im Themenkatalog betrachtet, um schnell relevante Themen zu finden, sowie einige Erlebnisaktualisierungen bei der Arbeit mit Nachrichten und Themen in der Konsole.

Sehen Sie sich unser neuestes Änderungsprotokoll für alle Details zur 1.24 Produktveröffentlichung an, oder wenn Sie neu hier sind, ist es einfacher denn je, mit Conduktor zu beginnen, kostenlos.