Apache Superset으로 Athena 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 대규모 분산환경에서 수평 확장 가능한 오픈소스인 Apache Superset으로 presto 엔진을 기반으로 하는 AWS Athena의 쿼리 결과를 시각화 해보도록 하겠습니다. 먼저 Superset을 준비하고, 샘플 데이터를 AWS Glue data catalog에 등록한뒤 이를 AWS Athena와 연동하여...
AWS EMR Series – Apache Superset으로 presto 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 BI Tool인 Apache Superset을 사용하여 AWS EMR 클러스터의 presto를 연동하여 데이터를 시각화를 간단히 해보도록 하겠습니다. Apache Superset은 Python으로 만들어진 응용 프로그램 프레임워크인 Flask로 만들어졌습니다. Cloud-native하고, Airbnb에서 아래와 같이 사용중이라 하니 검토해볼만 합니다. “Superset...
OX 퀴즈로 알아보는 신규 서비스 – AWS Backup
여기서 다루는 내용 · 시작하며 · OX퀴즈 – 초급 · OX퀴즈 – 중급 · 마치며 시작하며 안녕하십니까, GS네오텍 최준승입니다. 큰 인기없는 주간업데이트를 제외하고는 최근 포스팅이 좀 뜸했습니다. 이유야 여러가지가 있지만. 새로운 형식을 고민하기도 하고. 구미가 당기는 주제가 안보이기도 했고. 뭐 그랬습니다. 경험으로 볼때 이런 시기에는 가볍게 대충 주제를 하나...
태그 : AWS Backup, DynamoDB, EBS, EFS, RDS, Storage Gateway
AWS EMR Series – Hive geospatial 데이터 조회
여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리 이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로 ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다. 간단 소개 AWS EMR 관리형...
태그 : AWS, EMR, Geospatial, Hive
AWS 주간 업데이트 19년-1월-첫번째
안녕하십니까. GS네오텍 최준승입니다. 작년 11월 말부터 리인벤트 특집을 준비하기 시작하면서. 기존에 (격)주간 단위로 진행하던 업데이트 정리작업이 뚝 끊겼습니다. 반면 그 와중에도 리인벤트 전후로 발표된 소소한 업데이트 내역은 꽤나 많았구요. 이걸 어떻게 정리하지. 그동안 미루고 미루다가. 오늘 포스팅으로 Queue를 비워내고자 합니다. 기존에 중요도 순으로 “메인/단신/초단신”으로 나눴던 분류는. 오늘은 New 카테고리로...
태그 : 2019/01, 3minute, API Gateway, CloudFront, DocumentDB, EC2, EKS, Resource Access Manager, route53, Transit Gateway, VPN
최신 댓글