Atlas Stream Processing est désormais en aperçu public

Aujourd'hui, nous sommes ravis d'annoncer qu'Atlas Stream Processing est désormais disponible en aperçu public. Tous les développeurs qui travaillent avec Atlas peuvent ainsi l'essayer. Pour en savoir plus, consultez notre documentation ou lancez-vous dès aujourd'hui.

Les développeurs aiment tout particulièrement la flexibilité et la facilité d'utilisation du modèle basé sur les documents, ainsi que la Requête API, qui leur permet de travailler avec des données en tant que code. Avec Atlas Stream Processing, nous appliquons ces mêmes principes fondamentaux au traitement des flux. Annoncé pour la première fois lors de la conférence .local NYC 2023, Atlas Stream Processing redéfinit l'expérience de l'agrégation et de l'enrichissement des flux de données d'événements à grande vitesse et à évolution rapide, et unifie les méthodes de travail des développeurs avec les données en mouvement et au repos.

Comment les développeurs utilisent-ils le produit jusqu'à présent ? Qu'avons-nous appris ?

Lors de l'aperçu privé, des milliers d'équipes de développement ont demandé à accéder à notre solution et nous avons recueilli des commentaires utiles de la part de centaines d'équipes engagées. Voici nos cas client :

• Une compagnie aérienne internationale de premier plan utilise des agrégations complexes pour traiter rapidement les données relatives à la maintenance et aux opérations afin d'éviter les retards pour ses milliers de clients quotidiens.

• Un grand fabricant d'équipements énergétiques qui utilise Atlas Stream Processing pour surveiller continuellement des données de pompe à volume élevé afin d'éviter les pannes et optimiser leurs rendements.

• Un fournisseur SaaS innovant qui tire parti des capacités de traitement évoluées d’Atlas Stream Processing pour fournir des alertes contextuelles et dans les délais sur les produits afin d’améliorer l’engagement.

Ce ne sont que quelques exemples des nombreux cas d'utilisation observés dans différents secteurs d'activité. En outre, les développeurs nous donnent de nombreuses informations sur d'autres fonctionnalités d'Atlas Stream Processing qu'ils aimeraient utiliser.

Les développeurs ont non seulement pu bénéficier du traitement continu des données dans les bases de données Atlas via des change streams, mais ils ont aussi utilisé Atlas Stream Processing avec leurs données Kafka hébergées par des partenaires de renom tels que Confluent, Amazon MSK, Azure Event Hubs et Redpanda. Concernant les fonctionnalités de la developer data platform, nous nous sommes donné pour objectif d'améliorer continuellement l'expérience grâce aux technologies clés utilisées par les développeurs.

Quelles nouveautés offre l'aperçu public ?

Ce qui nous amène à évoquer les nouveautés. Plus nous adaptons nos solutions à d’autres équipes, plus nous étendons les fonctionnalités afin d'inclure celles qui sont le plus demandées dans notre aperçu privé. Parmi les nombreux commentaires reçus, trois problématiques sont ressorties :

1. Améliorer l'expérience des développeurs

2. Développer les fonctionnalités et fonctionnalités avancées

3. Améliorer les opérations et la sécurité

Améliorer l'expérience des développeurs

En avant-première privée, nous avons mis en place le cœur de l'expérience développeur, un enjeu clé pour faire d'Atlas Stream Processing une solution de choix pour les équipes de développement. Dans l'aperçu public, nous avons intégré deux améliorations supplémentaires :

• Intégration du VS Code
  Le plugin MongoDB VS Code intègre désormais la connexion aux instances de traitement des flux. Pour les développeurs qui utilisent déjà le plugin, cela permet aux équipes de créer et de gérer des processeurs dans un environnement de développement familier. Ainsi, vous perdez moins de temps à basculer entre les outils et consacrez plus de temps à la création de vos applications !

• Amélioration des fonctionnalités de la Dead Letter Queue (DLQ)
  La prise en charge de DLQ optimise le traitement des flux. Dans l'aperçu public, nous avons étendu ces fonctionnalités dans Atlas Stream Processing. Les messages Dead Letter Queue s'affichent désormais lors de l'exécution de pipelines avec sp.process () et lors de l'exécution de .sample () sur des processeurs en cours d'exécution. L'expérience de développement est ainsi plus rationalisée et ne nécessite pas la configuration d'une collection cible faisant office de DLQ.

Extension des fonctionnalités et fonctionnalités avancées

Atlas Stream Processing prenait déjà en charge la plupart des opérateurs d'agrégation clés maîtrisés par les développeurs dans la Requête API utilisée avec des données au repos. De puissantes fonctionnalités de fenêtrage et la possibilité de fusionner et d'émettre facilement des données vers la base de données Atlas ou vers un sujet Kafka ont également été ajoutées. L'aperçu public intégrera encore plus de fonctionnalités demandés par les équipes les plus expérimentées qui s'appuient sur le traitement des flux pour offrir des expériences client, à savoir :

• $lookup
  Les développeurs peuvent désormais enrichir les documents traités dans un processeur de flux avec des données provenant de clusters Atlas distants, en effectuant des liaisons entre les champs du document et de la collection cible.

• Modifier les flux avant et après l'émission d'images
  De nombreux développeurs utilisent Atlas Stream Processing pour traiter en continu les données des bases de données Atlas en tant que source via les change streams. Nous avons amélioré le change stream $source dans l'aperçu public avec la prise en charge des images avant et après. Les développeurs peuvent ainsi calculer les deltas entre les champs des documents et les cas d'utilisation nécessitant l'accès au contenu complet d'un document supprimé.

• Routage conditionnel avec expressions dynamiques dans les étapes de fusion et d'émission
  Le routage conditionnel permet aux développeurs d'utiliser la valeur des champs des documents traités dans Atlas Stream Processing pour envoyer dynamiquement des messages spécifiques à différentes collections Atlas ou sujets Kafka. Les étapes $merge et $emit prennent également désormais en charge l'utilisation d'expressions dynamiques. Il est ainsi possible d'utiliser l'API de requête pour des cas d'utilisation nécessitant la possibilité de faire basculer des messages vers différentes collections ou différents sujets, selon les besoins.

• Délais d'inactivité des flux
  Les flux sans filigrane avancé en raison d'un manque de données entrantes peuvent désormais être configurés pour se fermer automatiquement lorsque les résultats des fenêtres ont été émis depuis un certain temps. Cela peut s'avérer essentiel pour les sources de streaming dont les flux de données sont incohérents.

Améliorer les opérations et la sécurité

Enfin, nous avons beaucoup investi ces derniers mois en vue d'améliorer d'autres aspects opérationnels et sécuritaires d'Atlas Stream Processing. Voici quelques exemples :

• Points de contrôle
  Atlas Stream Processing effectue désormais des points de contrôle pour enregistrer l'état pendant le traitement. Les processeurs de flux exécutent continuellement des processus. Par conséquent, si un problème de données ou une défaillance de l'infrastructure surviennent, ils doivent disposer d'un mécanisme de récupération intelligent. Les points de contrôle facilitent la reprise des processeurs de flux à partir de l'endroit où les données ont cessé d'être collectées et traitées.

• Prise en charge du fournisseur Terraform
  La prise en charge de la création de connexions et d'instances de traitement de flux (SPI) est désormais disponible avec Terraform. Vous pouvez ainsi créer l’infrastructure sous forme de code pour reproduire les déploiements.

• Rôles de sécurité
  Atlas Stream Processing a ajouté un rôle au niveau du projet. Les utilisateurs disposent ainsi uniquement de l'autorisation nécessaire pour effectuer leurs tâches de traitement de flux. Les processeurs de flux peuvent s'exécuter dans le contexte d'un rôle spécifique, ce qui permet de configurer le modèle de moindre privilège.

• Prise en charge des groupes de consommateurs Kafka
  Les processeurs de flux dans Atlas Stream Processing utilisent désormais les groupes de consommateurs Kafka pour le suivi des décalages. Les utilisateurs peuvent ainsi changer facilement la position du processeur dans le flux pour les opérations et surveiller facilement les éventuels retards du processeur.

Dernière remarque concernant les nouveautés : des tarifs promotionnels vous seront offerts dans l'aperçu public d'Atlas Stream Processing en attendant le lancement en disponibilité générale. Pour en savoir plus sur la tarification d'Atlas Stream Processing, consultez notre documentation.

Créez votre premier processeur de stream dès aujourd'hui

L'aperçu public marque une avancée majeure pour nous, car nous développons la developer data platform et offrons à un plus grand nombre d'équipes une solution de traitement des flux qui simplifie la complexité opérationnelle de la création d'applications réactives, adaptées et événementielles, tout en offrant une expérience améliorée aux développeurs.

Nous avons hâte de voir vos créations !