CloudWatch Omni로 AI 에이전트 관측·평가 – 샘플 상담 에이전트로 정책 위반 잡아내기
안녕하세요. GS Neotek 문승현 입니다.Amazon CloudWatch Omni는 애플리케이션과 AI 에이전트의 관측·평가를 한 화면에서 다루는 새 CloudWatch 경험입니다.기능을 훑어보는 것을 넘어, 이번에는 직접 만든 샘플 에이전트를 붙여 처음부터 끝까지 적용해 봤습니다.설정을 콘솔 대신 API로 재현하고, 같은 질문에 다르게 답하는 두 버전의 에이전트를 비교하며, 내장 평가기가 놓치는 정책 위반을 커스텀 평가기로 잡아내는 과정까지 정리했습니다.샘플 코드와 실제로 겪은 문제, 측정한 비용을 함께...
최신 댓글