AWS, AI 에이전트가 왜 틀렸는지까지 본다…’클라우드워치 옴니’ 정식 출시

디지털투데이 2026.09.28

[디지털투데이 AI리포터] 아마존웹서비스(AWS)가 에이전트형 인공지능(AI)의 응답 품질과 판단 과정을 추적하는 관측 플랫폼 ‘아마존 클라우드워치 옴니’를 지난주 정식 출시했다.

28일(현지시간) 실리콘앵글에 따르면 이 서비스는 시스템의 정상 작동 여부를 확인하는 기존 모니터링을 넘어 AI 에이전트가 왜 잘못된 답을 내놓았는지까지 파악하는 데 초점을 맞췄다.

클라우드워치 옴니의 핵심은 평가 엔진이다. 이 서비스는 에이전트의 추적 데이터를 바탕으로 일관성·유용성·충실성·라우팅 정확성 등을 점수화하는 17개 기본 평가기를 제공한다. 기업은 프롬프트 버전을 비교하고 실제 운영 트래픽에서 테스트 데이터셋을 만들 수 있다. 평가를 운영 트래픽에 지속적으로 적용해 품질 저하도 자동으로 찾아낼 수 있다.

소니는 초기 도입 사례로 제시됐다. 마사히로 오바(Masahiro Oba) 소니그룹 AI 가속 부문 수석 제너럴 매니저는 소니의 전사 에이전트형 AI 플랫폼이 현재 수백개의 개념검증과 운영 워크로드를 지원하고 있으며, 이 규모에서는 관측과 평가가 필수라고 말했다.

개발자는 비주얼 스튜디오 코드, 커서, 키로용 확장 기능을 통해 로컬에서 실행 중인 에이전트의 추적 정보를 확인할 수 있다. 이 IDE 확장 기능은 AWS 계정 없이도 사용할 수 있다. 운영자는 옥타와 마이크로소프트 엔트라 ID 등 기존 인증 체계를 활용해 별도의 웹 환경에 접속할 수 있으며, 개발 환경과 운영 환경은 같은 데이터 계층을 공유한다.

클라우드워치 옴니는 오픈텔레메트리 기반으로 에이전트 추적 정보와 애플리케이션 텔레메트리, 인프라 신호를 하나의 데이터 계층에서 연결한다. 조사 세션에서는 AWS 데브옵스 에이전트가 기본 활성화돼 서로 다른 신호의 연관관계를 파악하고 조사 이력을 남긴다. 캐피털 원은 설계 파트너로 참여했다.

비용은 텔레메트리 전송·저장량 등을 기준으로 책정된다. IDE 확장 기능과 대시보드, 경보는 무료로 제공되지만, 로그·트레이스 조회와 에이전트 평가에는 별도 비용이 발생할 수 있다. 특히 프롬프트, 모델 호출, 도구 실행, 하위 에이전트 호출 등에서 추적 정보가 쌓이는 만큼 워크로드가 늘어나면 텔레메트리 관련 비용도 커질 수 있다.

이 서비스는 랭체인, 랭그래프, 크루AI, 오픈AI 에이전트 SDK, 스트랜즈, 버셀 AI SDK 등과 연동된다. 딥이밸 같은 외부 평가기도 지원하며, 아마존 베드록 에이전트코어 기반 에이전트에는 기본적인 관측 기능이 제공된다. 현재 애저 워크로드의 텔레메트리도 수집할 수 있다.