Atlas Stream Processing 공개 미리보기 출시

Atlas Stream Processing의 공개 미리보기 버전이 출시되었음을 알려드립니다! Atlas의 개발자라면 누구나 공개 미리보기 버전을 사용해 보실 수 있습니다. Docs에서 자세히 알아보거나 지금 바로 시작해 보세요.

Query API와 함께 데이터를 코드로 작업할 수 있는 문서 모델의 유연성과 사용 편의성으로 개발자들에게 사랑받고 있습니다. Atlas Stream Processing을 사용하여 이러한 기본 원칙을 스트림 처리에 적용하고 있습니다. .local NYC 2023에서 처음 발표된 Atlas Stream Processing은 빠르게 변화하는 데이터의 고속 스트림으로 집계 및 강화하고, 개발자가 이동 중인 데이터와 저장된 데이터로 작업하는 방식을 통합하기 위한 경험을 재정의하고 있습니다.

개발자들은 지금까지 제품을 어떻게 사용하고 있을까요? 저희는 무엇을 배웠을까요?

비공개 미리보기 기간에 수천 개의 개발팀이 액세스를 요청했고, 수백 개의 참여 팀으로부터 유용한 피드백을 수집했습니다. 다음과 같은 사용 사례를 살펴보세요.

• 업계를 선도하는 글로벌 항공사는 복잡한 집계를 사용하여 유지 관리 및 운영 데이터를 신속하게 프로세스하고, 매일 수천 명의 고객에게 정시 비행을 제공합니다.

• 대규모 에너지 장비 제조업체는 Atlas Stream Processing을 사용하여 대량의 펌프 데이터를 지속적으로 모니터링하여 가동 중단을 방지하고 수율을 최적화하고 있습니다.

• 혁신적인 엔터프라이즈용 SaaS 제공업체는 Atlas Stream Processing의 풍부한 처리 기능을 활용해 상황에 맞는 제품 내 경고를 적시에 제공함으로써 제품 만족도를 높입니다.

이러한 사례들은 여러 산업 분야에서 Atlas Stream Processing을 사용하는 사례 중 일부에 지나지 않습니다. 이미 살펴본 사용 사례 외에도, 개발자들이 앞으로 Atlas Stream Processing에 추가되기를 바라는 기능과 관련해 다양한 인사이트를 얻고 있습니다.

change stream을 통해 Atlas 데이터베이스의 데이터를 지속적으로 처리할 수 있을 뿐만 아니라, 개발자들이 Confluent, Amazon MSK, Azure Event Hubs 및 Redpanda와 같은 소중한 제휴 파트너가 호스팅하는 Kafka 데이터로 Atlas Stream Processing을 사용하는 것을 보고 큰 힘을 얻었습니다. 개발자 데이터 플랫폼 기능과 관련해서는 개발자가 주로 사용하는 주요 기술 전반에서 더 나은 경험을 제공하는 것이 언제나 저희의 목표입니다.

공개 미리보기에는 어떤 새로운 기능이 추가되었나요?

새로운 기능을 소개해 드리겠습니다. 더 많은 팀으로 확장함에 따라 비공개 미리보기에서 요청이 가장 많이 접수된 피드백을 포함하도록 기능을 확장하고 있습니다. 수없이 많이 접수된 피드백 중에서 세 가지 공통 주제를 선별했습니다.

1. 개발자 경험 개선

2. 고급 기능 및 기능 확장

3. 운영 및 보안 개선

개발자 경험 개선

비공개 미리보기에서 저희는 Atlas Stream Processing을 개발자가 가장 선호하는 솔루션으로 만들기 위해 꼭 필요한 개발자 경험의 핵심을 확립했습니다. 공개 미리보기에서는 다음과 같은 2가지 기능을 추가로 강화하여 이 기능을 두 배로 확대했습니다.

• VS Code 통합
  MongoDB VS Code 플러그인에 Stream Processing Instances 연결에 대한 지원이 추가되었습니다. 이 플러그인을 이미 활용하고 있는 개발자는 친숙한 개발 환경에서 프로세서를 생성하고 관리할 수 있습니다. 도구 사이를 오가는 시간을 줄이고 애플리케이션 구축에 더 많은 시간을 할애하세요.

• 데드 레터 큐(DLQ) 기능 개선
  DLQ 지원은 강력한 스트림 처리의 핵심 요소인 만큼, 공개 미리보기에서는 Atlas Stream Processing의 DLQ 기능을 확장하고 있습니다. 이제 sp.process()로 파이프라인을 실행할 때와 실행 중인 프로세서에서 .sample()을 실행할 때 데드 레터 큐 메시지가 표시되므로, 대상 컬렉션이 DLQ로 작동하도록 설정할 필요가 없어지고 개발 환경이 간소화됩니다.

고급 기능 확장

Atlas Stream Processing은 개발자들이 미사용 데이터에 사용되는 쿼리 API에서 익숙한 주요 집계 연산자 다수를 지원하고 있으며, 강력한 윈도우 기능 및 데이터를 쉽게 병합하여 Atlas 데이터베이스 또는 Kafka 토픽으로 내보낼 수 있는 기능도 추가되었습니다. 공개 미리보기에는 스트림 처리를 활용해 고객 경험을 제공하는 최첨단 팀에 필요한 훨씬 더 많은 기능이 추가됩니다.

• $lookup
  이제 개발자는 스트림 프로세서에서 처리 중인 문서를 원격 Atlas Clusters의 데이터로 보강하여 문서 및 대상 컬렉션의 필드에 대해 조인을 수행할 수 있습니다.

• change stream 사전 및 사후 이미지 처리
  많은 개발자가 Atlas 데이터베이스의 데이터를 소스로 하여 change stream에서 지속적으로 처리하기 위해 Atlas Stream Processing을 사용합니다. 공개 미리보기에서는 사전 및 사후 이미지를 지원하여 change stream $source를 개선했습니다. 이를 통해 개발자가 문서 내 필드 간의 델타를 계산해야 하는 일반적인 사용 사례는 물론, 삭제된 문서의 전체 내용에 액세스해야 하는 사용 사례도 활용할 수 있습니다.

• 병합 및 내보내기 단계의 동적 표현식을 사용한 조건부 라우팅
  조건부 라우팅을 사용하면 개발자가 Atlas Stream Processing에서 처리 중인 문서의 필드 값을 사용하여 특정 메시지를 다른 Atlas 컬렉션이나 Kafka 토픽으로 동적으로 전송할 수 있습니다. $merge 및 $emit 단계에서도 이제 동적 표현식 사용이 지원됩니다. 따라서 메시지를 다른 컬렉션이나 토픽으로 포크하는 기능이 필요한 사용 사례에서 쿼리 API를 사용할 수 있습니다.

• 유휴 스트림 시간 초과
  이제 인바운드 데이터가 부족해서 워터마크가 진행되지 않는 스트림은 일정 시간이 지나면 Windows 결과를 내보낸 후 닫히도록 설정할 수 있습니다. 이는 데이터 흐름이 일관되지 않은 스트리밍 소스에 중요할 수 있습니다.

운영 및 보안 개선

마지막으로, Atlas Stream Processing의 다른 운영 및 보안 측면을 개선하기 위해 지난 몇 달 동안 많은 투자를 했습니다. 주요 개선 사항은 다음과 같습니다.

• 체크포인트
  Atlas Stream Processing은 이제 처리 중 상태 저장을 위한 체크포인트를 수행합니다. 스트림 프로세서는 지속적으로 프로세스를 실행하기 때문에 데이터 문제 또는 인프라 장애, 무엇으로 인한 것이든 지능적인 복구 메커니즘이 필요합니다. 체크포인트를 사용하면 데이터 수집 및 처리가 중단된 곳에서 스트림 프로세서를 쉽게 재개할 수 있습니다.

• Terraform 공급자 지원
  이제 Terraform에서 연결 및 Stream Processing Instances(SPIs) 생성에 대한 지원이 제공됩니다. 이를 통해 인프라를 반복 가능한 배포를 위한 코드로 작성할 수 있습니다.

• 보안 역할
  Atlas Stream Processing에는 프로젝트 수준 역할이 추가되었으며, 사용자가 스트림 처리 작업을 수행하기 위해 필요한 권한만 부여합니다. 스트림 프로세서는 특정 역할의 컨텍스트에서 실행될 수 있으며 최소 권한 구성을 지원합니다.

• Kafka 소비자 그룹 지원
  Atlas Stream Processing의 스트림 프로세서는 이제 오프셋 추적을 위해 Kafka 소비자 그룹을 사용합니다. 이는 사용자가 운영용 스트림에서 프로세서의 위치를 쉽게 변경하고 잠재적인 프로세서 지연을 쉽게 모니터링할 수 있게 해줍니다.

공개 미리보기의 새로운 기능 중에서 마지막으로 소개할 내용은 Atlas Stream Processing이 일반 출시되기 전까지 프로모션 가격을 사용하여 비용을 청구하기 시작한다는 것입니다. Atlas Stream Processing 요금에 대한 자세한 내용은 문서에서 확인하실 수 있습니다.

지금 바로 첫 번째 스트림 프로세서를 구축하세요

공개 미리보기는 개발자 데이터 플랫폼을 확장하고, 반응형, 이벤트 중심 애플리케이션 구축의 운영 복잡성을 단순화하는 동시에 향상된 개발자 경험을 제공하는 스트림 처리 솔루션을 통해 더 많은 팀이 개발자 데이터 플랫폼을 확장하도록 지원합니다.

여러분의 작품을 빨리 보고 싶습니다!