Atlas Stream Processing ist jetzt in der Public Preview verfügbar

Wir freuen uns, heute die Public Preview von Atlas Stream Processing ankündigen zu können. Die Public Preview öffnet den Zugang für alle Entwickler auf Atlas, die es ausprobieren möchten – erfahren Sie mehr in unseren Dokumenten oder starten Sie noch heute.

Entwickler lieben die Flexibilität und Benutzerfreundlichkeit des Dokumentenmodells, zusammen mit der Query API, die es ihnen ermöglicht, mit Daten wie mit Code zu arbeiten. Mit Atlas Stream Processing bringen wir dieselben Grundprinzipien in das Stream Processing ein. Zuerst angekündigt auf .local NYC 2023 definiert Atlas Stream Processing die Zusammenführung und Anreicherung von Datenströmen mit hoher Geschwindigkeit und sich schnell ändernden Ereignisdaten neu und vereinheitlicht die Arbeit mit Daten in Bewegung und Daten im Ruhezustand.

Wie nutzen Entwickler das Produkt bisher? Und was haben wir gelernt?

Während der privaten Vorabversion haben Tausende von Entwicklungsteams den Zugriff angefordert, und wir haben nützliches Feedback von Hunderten von engagierten Teams erhalten. Zu den Anwendungsfällen gehören:

• Ein weltweit führendes Luftfahrtunternehmen, das komplexe Aggregationen zur schnellen Verarbeitung von Wartungs- und Betriebsdaten einsetzt, um pünktliche Flüge für seine Tausenden von täglichen Kunden zu gewährleisten

• Ein großer Hersteller von Energieanlagen, der Atlas Stream Processing einsetzt, um eine kontinuierliche Überwachung großer Pumpendaten zu ermöglichen, damit Ausfälle vermieden und die Erträge optimiert werden können

• Ein innovativer SaaS-Anbieter für Unternehmen, der die umfangreichen Verarbeitungsfunktionen von Atlas Stream Processing nutzt, um zeitnahe und kontextbezogene Produktwarnungen zu liefern, die das Engagement für das Produkt verbessern.

Dies sind nur einige der vielen Anwendungsbeispiele, die wir in verschiedenen Branchen für Atlas Stream Processing sehen. Neben den Anwendungsfällen, die wir bereits gesehen haben, geben uns die Entwickler zahlreiche Hinweise darauf, was sie sich für die Zukunft von Atlas Stream Processing wünschen.

Neben der kontinuierlichen Verarbeitung von Daten in Atlas-Datenbanken durch Change Streams ist es beeindruckend zu sehen, dass Entwickler Atlas Stream Processing mit ihren Kafka-Daten verwenden, die von geschätzten Partnern wie Confluent, Amazon MSK, Azure Event Hubs und Redpanda zusammenarbeiten werden. Unser Ziel mit den Funktionen der Entwicklerdatenplattform ist es immer, eine bessere Erfahrung über die Schlüsseltechnologien hinweg zu schaffen, auf die sich die Entwickler verlassen.

Was ist neu beim Public Preview?

Das bringt uns zu den Neuerungen. Und da wir immer mehr Teams einbeziehen, erweitern wir die Funktionalität um das am häufigsten gewünschte Feedback, das wir in unserem Private Preview gesammelt haben. Aus den vielen eingegangenen Feedbacks kristallisierten sich drei gemeinsame Themen heraus:

1. Verfeinerung des Entwicklererlebnisses

2. Erweiterung der fortgeschrittenen Features und Funktionen

3. Verbesserung von Betrieb und Sicherheit

Verfeinerung des Entwicklererlebnisses

Im Private Preview haben wir den Kern der Entwicklererfahrung geschaffen, die notwendig ist, um Atlas Stream Processing zu einer natürlichen Lösung für Entwicklungsteams zu machen. Und in der Public Preview verdoppeln wir dies, indem wir zwei zusätzliche Verbesserungen vornehmen:

• Integration von VS-Codes
  Das MongoDB VS Code-Plugin hat Unterstützung für die Verbindung zu Stream Processing Instances hinzugefügt. Für Entwickler, die das Plugin bereits nutzen, können Teams Prozessoren in einer vertrauten Entwicklungsumgebung erstellen und verwalten. Das bedeutet weniger Zeit für den Wechsel zwischen verschiedenen Tools und mehr Zeit für die Entwicklung Ihrer Anwendungen!

• Verbesserte Funktionen der Dead Letter Queue (DLQ)
  Die DLQ-Unterstützung ist ein Schlüsselelement für eine leistungsstarke Stream-Verarbeitung und in der Public Preview erweitern wir die DLQ-Funktionen in Atlas Stream Processing. Dead-Letter-Queue-Meldungen werden jetzt selbst angezeigt, wenn Pipelines mit sp.process() ausgeführt werden und wenn .sample() auf laufenden Prozessoren ausgeführt wird. Dies ermöglicht eine optimierte Entwicklungserfahrung, die keine target collection erfordert, um als DLQ zu fungieren.

Erweiterung der fortgeschrittenen Features und Funktionen

Atlas Stream Processing unterstützte bereits viele der wichtigsten Aggregationsoperatoren, mit denen Entwickler in der Query API vertraut sind, die mit Daten im Ruhezustand verwendet wird, und fügte leistungsstarke Fensterfunktionen und die Möglichkeit hinzu, Daten einfach zusammenzuführen und an die Atlas-Datenbank oder an ein Kafka-Thema zu senden. Der Public Preview bietet noch mehr Funktionen, die von den fortschrittlichsten Teams benötigt werden, die auf Stream Processing angewiesen sind, um Kundenerfahrung zu liefern:

• $Lookup
  Entwickler können jetzt Dokumente, die in einem Stream-Prozessor verarbeitet werden, mit Daten aus entfernten Atlas-Clustern anreichern, indem sie Joins gegen Felder aus dem Dokument und der Zielsammlung durchführen.

• Change Streams vor und nach dem Imaging
  Viele Entwickler verwenden Atlas Stream Processing, um Daten in Atlas-Datenbanken als Quelle kontinuierlich durch Change Streams zu verarbeiten. Wir haben den Change Stream $source in der Public Preview um die Unterstützung von Vor- und Nachbildern erweitert. Dies ermöglicht häufige Anwendungsfälle, in denen Entwickler Deltas zwischen Feldern in Dokumenten berechnen müssen, sowie Anwendungsfälle, die den Zugriff auf den vollständigen Inhalt eines gelöschten Dokuments erfordern.

• Bedingtes Routing mit dynamischen Ausdrücken in den Phasen Merge und Emit
  Mit dem bedingten Routing können Entwickler den Wert von Feldern in Dokumenten verwenden, die in Atlas Stream Processing verarbeitet werden, um bestimmte Nachrichten dynamisch an verschiedene Atlas Collections oder Kafka-Themen zu senden. Die Stufen $merge und $emit unterstützen jetzt auch die Verwendung von dynamischen Ausdrücken. Dies ermöglicht die Verwendung der Abfrage-API für Anwendungsfälle, die die Möglichkeit erfordern, Nachrichten je nach Bedarf in verschiedene Collections oder Themen zu verzweigen.

• Zeitüberschreitungen bei Leerlauf-Streams
  Streams, die mangels eingehender Daten nicht mit Wasserzeichen fortschreiten, können jetzt so konfiguriert werden, dass sie sich nach einer gewissen Zeit schließen und die Ergebnisse der Fenster ausgeben. Dies kann bei Streaming-Quellen, die inkonsistente Datenströme aufweisen, entscheidend sein.

Verbesserung von Betrieb und Sicherheit

Schließlich haben wir in den letzten Monaten stark in die Verbesserung anderer Betriebs- und Sicherheitsaspekte von Atlas Stream Processing investiert. Einige der Highlights sind:

• Checkpointing
  Atlas Stream Processing führt jetzt Checkpoints durch, um den Status während der Verarbeitung zu speichern. Stream-Prozessoren sind kontinuierlich laufende Prozesse. Ob aufgrund eines Datenproblems oder eines Ausfalls der Infrastruktur, sie benötigen einen intelligenten Wiederherstellungsmechanismus. Mit Checkpoints können Sie Ihre Stream-Prozessoren ganz einfach an der Stelle wieder aufnehmen, an der die Datenerfassung und -verarbeitung unterbrochen wurde.

• Unterstützung für Terraform-Anbieter
  Unterstützung für die Erstellung von Verbindungen und Stream Processing Instances (SPIs) ist jetzt mit Terraform verfügbar. So kann die Infrastruktur als Code für wiederholbare Bereitstellungen erstellt werden.

• Sicherheitsrollen
  Atlas Stream Processing hat eine Rolle auf Projektebene hinzugefügt, die den Benutzern gerade genug Rechte gibt, um ihre Stream Processing-Aufgaben zu erfüllen. Stream-Prozessoren können im Kontext einer bestimmten Rolle ausgeführt werden und unterstützen so eine Konfiguration mit geringsten Berechtigungen.

• Unterstützung für Kafka-Verbrauchergruppen
  Stream-Prozessoren in Atlas Stream Processing verwenden jetzt Kafka-Konsumentengruppen für die Nachverfolgung von Offsets. So können Sie die Position des Prozessors im Stream für Operationen leicht ändern und eine mögliche Verzögerung des Prozessors leicht überwachen.

Eine letzte Anmerkung zu den Neuerungen ist, dass wir in der Public Preview damit beginnen werden, Gebühren für Atlas Stream Processing zu erheben, wobei wir bis zur Veröffentlichung der allgemeinen Verfügbarkeit Aktionspreise verwenden. Mehr über die Preise von Atlas Stream Processing erfahren Sie in unserer Dokumentation.

Erstellen Sie noch heute Ihren ersten Stream-Prozessor

Der Public Preview ist ein großer Schritt nach vorne für uns, da wir die Entwicklerdatenplattform erweitern und mehr Teams mit einer Stream-Processing-Lösung ausstatten, die die betriebliche Komplexität bei der Entwicklung reaktiver, reaktionsfähiger, ereignisgesteuerter Anwendungen vereinfacht und gleichzeitig eine verbesserte Entwicklererfahrung bietet.

Wir können es kaum erwarten zu sehen, was Sie erschaffen!