AWS Athena workgroup 기능 출시

작성자 GS Neotek 작성일 3월 8, 2019 조회수 1003

여기서 다루는 내용

· 간단 소개
· Workgorup 생성 및 Usage Control 설정
· Workgroup Data Limit 테스트
· 마무리

이번 시간에는 최근 출시된 AWS Athena workgroup 기능을 간단 테스트 해보도록 하겠습니다.

간단 소개

• • AWS Athena
    • 서버리스 기반 완전 관리형 서비스
    • Presto 기반 표준 SQL 지원 대화식 쿼리 서비스
    • Amazon S3 기반 데이터 스토어
    • AWS Management Console, API, ODBC/JDBC 지원
    • 쿼리당 스캔한 데이터 비용 지불 ($5/TB)
    • Workgroup 기능
      • 동일한 AWS 계정을 이용한 사용자 또는 애플리케이션 간 쿼리 실행 및 쿼리 기록 분리
      •  리소스 기반 정책을 사용하여 Workgroup 액세스 제어 가능
      • 쿼리 데이터 사용 제어 및 workgroup의 시간별 또는 일별 데이터 스캔양 집계 정보에 대한 임계값 설정 가능
      • metric 제공
      • 관련 문서 :  Link
    • 제품 세부 정보: Link

Workgroup 생성 및 Data Control 설정

Athena 콘솔에서 우측에 Workgroup : primary 라는 부분이 추가되었습니다.

workgroup을 선택하면 primary 하나가 보입니다.

여기에 create workgroup을 눌러 workgroup을 생성합니다.

이제 Athena에 태깅도 가능합니다. (혹시 태깅 관련하여 궁금한 부분이 있으면 저희 블로그에 게제된  6하 원칙으로 알아보는 AWS 환경에서의 태그 전략 참고 바랍니다.)

생성이 완료되면 아래와 같이 표시됩니다.

View details을 누르면 세부 정보를 확인 할 수 있습니다.

Data usage controls 탭에 보면 두가지로 usage control이 가능합니다.

하나는 쿼리당 data limit 설정이고 다른 하나는 해당 workgroup의 특정 기간동안 data limit 설정과 해당 설정 제한에 걸릴경우 설정한 action이 실행되도록 선택할 수 있습니다.

쿼리당 data limit 을 10MB로 설정하고, workgroup에 대한 설정은 아래 이미지와 같이 Data limit과 Time period 설정, 그리고 aciton으로  SNS topic을 선택합니다. 설정하면 CloudAlarm으로 설정되며 여러개 설정이 가능합니다.

최종적으로 아래와 같이 설정된 내용이 표시됩니다.

workgroup Data Limit 테스트

먼저 위에서 생성한 workgroup 으로 변경합니다.

쿼리 데이터 제한이 10MB이므로 10MB 가 넘는 데이터를 조회해보면 아래 이미지와 같이 “Bytes scanned limit was exceeded” 메지지와 함께 쿼리 요청이 종료됩니다.

Data scanned 부분에는 11.12MB 까지 조회한 부분이 나옵니다.

이번에는 workgroup 제한을 확인해보도록 하겠습니다.

제한을 넘어서면 Cloudwatch Alarm이 발생되고, 설정된 SNS topic으로 notification이 보내집니다.

추가로 Metrics 탭에서 해당 workgroup의 메트릭 정보 확인이 가능합니다.

마무리

관리적인 측면에서 IAM에서 사용자 계정별 workgroup을 할당해서 계정별로 제어도 가능하기 때문에 기존에 관리를 못했던 부분들을 관리 할 수 있게 되어 프로젝트별 또는 사용자별 등으로 분리가 가능해졌습니다.

이상으로 Athena workgroup 기능을 간단히 알아보았습니다.