Atlas Stream Processing è ora disponibile in anteprima pubblica

Oggi siamo lieti di annunciare che Atlas Stream Processing è ora disponibile in anteprima pubblica. L'anteprima pubblica apre l'accesso a qualsiasi sviluppatore di Atlas interessato a provarla: per saperne di più, consulta i nostri documenti o inizia subito.

Gli sviluppatori apprezzano la flessibilità e la facilità d'uso del modello di documento, insieme all'API query, che consente loro di lavorare con i dati come codice. Con Atlas Stream Processing, stiamo introducendo questi stessi principi fondamentali nell'elaborazione del flusso. Annunciato per la prima volta su .local NYC 2023, Atlas Stream Processing sta ridefinendo l'esperienza di aggregazione e arricchimento di flussi di dati di eventi ad alta velocità e in rapida evoluzione, unificando le modalità di lavoro con i dati in movimento e a riposo.

Come stanno utilizzando il prodotto gli sviluppatori finora? E cosa abbiamo imparato?

Durante l'anteprima privata, migliaia di team di sviluppo hanno richiesto l'accesso e abbiamo raccolto utili feedback da centinaia di team coinvolti. I casi d'uso includono:

• Un aereo di linea leader a livello mondiale che utilizza aggregazioni complesse per elaborare rapidamente i dati relativi alla manutenzione e alle operazioni, garantendo voli puntuali per migliaia di clienti al giorno

• Un grande produttore di apparecchiature energetiche che utilizza Atlas Stream Processing per consentire il monitoraggio continuo dei dati delle pompe ad alto volume al fine di evitare interruzioni e ottimizzarne i rendimenti e

• Un innovativo provider SaaS aziendale che sfrutta le ricche capacità di elaborazione di Atlas Stream Processing per inviare avvisi tempestivi e contestuali all'interno del prodotto al fine di migliorare l'engagement.

Questi sono solo alcuni dei numerosi esempi di casi d'uso osservati nei diversi settori per Atlas Stream Processing. Oltre ai casi d'uso già citati, gli sviluppatori ci stanno fornendo moltissime informazioni su funzionalità da aggiungere ad Atlas Stream Processing in futuro.

Oltre ad abilitare l'elaborazione continua dei dati nei database Atlas tramite change stream, è stato davvero straordinario vedere gli sviluppatori utilizzare Atlas Stream Processing con i dati Kafka in hosting presso partner di valore come Confluent, Amazon MSK, Azure Event Hub e Redpanda. Il nostro obiettivo con le capacità della piattaforma dati per sviluppatori è sempre quello di migliorare l'esperienza tramite le tecnologie chiave scelte dagli sviluppatori.

Quali sono le novità dell'anteprima pubblica?

Questo ci porta alle novità. E man mano che scaliamo a più team, stiamo espandendo le funzionalità per includere i feedback più richiesti raccolti nella nostra anteprima privata. Dai numerosi feedback ricevuti, sono emersi tre temi comuni:

1. Perfezionamento dell'esperienza degli sviluppatori

2. Espansione di caratteristiche e funzionalità avanzate e

3. Miglioramento delle operazioni e della sicurezza

Perfezionamento dell'esperienza degli sviluppatori

Nell'anteprima privata, abbiamo stabilito la base dell'esperienza degli sviluppatori essenziale per rendere Atlas Stream Processing una soluzione naturale per i team di sviluppo. E nell'anteprima pubblica, stiamo ampliando questo aspetto apportando 2 ulteriori miglioramenti:

• Integrazione di VS Code
  Il plug-in MongoDB VS Code ha aggiunto il supporto per la connessione alle istanze di elaborazione dei flussi. Per gli sviluppatori che già utilizzano il plugin, ciò consente ai team di creare e gestire gli elaboratori in un ambiente di sviluppo familiare. Meno tempo per passare da uno strumento all'altro e più tempo per creare applicazioni!

• Funzionalità DLQ (Dead Letter Queue) migliorate
  Il supporto DLQ è un elemento chiave per l'elaborazione avanzata dei flussi e nell'anteprima pubblica stiamo espandendo le funzionalità DLQ in Atlas Stream Processing. I messaggi della Dead Letter Queue ora si visualizzano durante l'esecuzione di pipeline con sp.process() e durante l'esecuzione di .sample() su elaboratori in esecuzione, consentendo un'esperienza di sviluppo più semplificata che non richiede l'impostazione di una collection che funga da DLQ.

Espansione di caratteristiche e funzionalità avanzate

Atlas Stream Processing supportava già molti degli operatori di aggregazione chiave noti agli sviluppatori nell'API Query utilizzata con i dati inattivi e ha aggiunto potenti capacità di windowing e la possibilità di unire ed emettere facilmente dati nel database Atlas o in un argomento Kafka. L'anteprima pubblica aggiungerà ancora più funzionalità richieste dai team più avanzati che si affidano all'elaborazione dei flussi per offrire esperienza del cliente:

• fase di $lookup
  Gli sviluppatori possono ora arricchire i documenti che vengono elaborati in un elaboratore di flusso con i dati provenienti da cluster Atlas remoti, eseguendo unioni sui campi del documento e della collection target.

• Flussi di modifica pre e post-imaging
  Molti sviluppatori utilizzano Atlas Stream Processing per elaborare in modo costante i dati nei database Atlas come fonte tramite change stream. Abbiamo migliorato il change stream $source nell'anteprima pubblica con il supporto per le immagini pre e post-. Ciò consente i casi d'uso comuni in cui gli sviluppatori devono calcolare le delta tra i campi nei documenti e i casi d'uso che richiedono l'accesso a tutti i contenuti di un documento eliminato.

• Instradamento condizionale con espressioni dinamiche nelle fasi di unione ed emissione
  L'instradamento condizionale consente agli sviluppatori di utilizzare il valore dei campi nei documenti in fase di elaborazione in Atlas Stream Processing per inviare dinamicamente messaggi specifici a diverse collection Atlas o argomenti Kafka. Anche le fasi $merge e $emit supportano ora l'uso di espressioni dinamiche. In questo modo è possibile utilizzare l'API Query per i casi d'uso che richiedono la possibilità di eseguire il fork dei messaggi in collection o argomenti diversi in base alle esigenze.

• Timeout flussi inattivo
  I flussi senza filigrane di avanzamento a causa della mancanza di dati in ingresso possono ora essere configurati per chiudersi dopo un periodo di tempo emettendo i risultati delle finestre. Questo può essere fondamentale per le origini di flussi che hanno flussi di dati incoerenti.

Miglioramento delle operazioni e della sicurezza

Infine, negli ultimi mesi abbiamo investito molto nel miglioramento di altri aspetti operativi e di sicurezza di Atlas Stream Processing. Alcuni dei punti salienti includono:

• Esecuzione di checkpoint
  Atlas Stream Processing ora esegue checkpoint per salvare lo stato durante l'elaborazione. Gli elaboratori di flusso sono processi in continua esecuzione, pertanto, che si tratti di un problema di dati o di un guasto dell'infrastruttura, richiedono un meccanismo di ripristino intelligente. I checkpoint consentono di riprendere facilmente gli elaboratori di flusso dal punto in cui si è interrotta la raccolta e l'elaborazione dei dati.

• Supporto del provider Terraform
  Il supporto per la creazione di connessioni e istanze di elaborazione dei flussi (SPI) è ora disponibile con Terraform. Ciò consente di creare l'infrastruttura come codice per distribuzioni ripetibili.

• Ruoli di sicurezza
  Atlas Stream Processing ha aggiunto un ruolo a livello di progetto, dando agli utenti le autorizzazioni necessarie per eseguire le attività di elaborazione del flusso. Gli elaboratori di flusso possono essere eseguiti nel contesto di un ruolo specifico, supportando una configurazione con privilegi minimi.

• Supporto del gruppo di consumatori Kafka
  Gli elaboratori di flusso in Atlas Stream Processing ora utilizzano i gruppi di consumatori Kafka per il monitoraggio degli offset. Ciò consente agli utenti di modificare facilmente la posizione dell'elaboratore nel flusso per le operazioni e di monitorare facilmente eventuali ritardi dell'elaboratore.

Un'ultima nota sulle novità è che nell'anteprima pubblica inizieremo ad addebitare i costi per Atlas Stream Processing, con prezzi promozionali fino alla release della disponibilità generale. Puoi scoprire di più sui prezzi di Atlas Stream Processing nella nostra documentazione.

Sviluppa oggi stesso il tuo primo elaboratore di flusso

L'anteprima pubblica è un enorme passo avanti per noi, in quanto espandiamo la piattaforma di dati per sviluppatori e consentiamo a un maggior numero di team di disporre di una soluzione di elaborazione dei flussi che semplifica la complessità operativa della creazione di applicazioni reattive, responsive e guidate dagli eventi, offrendo al contempo una migliore esperienza per gli sviluppatori.

Non vediamo l'ora di scoprire cosa svilupperai!