6하 원칙으로 알아보는 AWS 환경에서의 태그 전략
여기서 다루는 내용 · 시작 · Why – 태깅은 왜 하지? · What – 무엇에 태깅하지? · When – 태깅은 언제 하지? · Where – 태깅은 어디에서 하지? · How – 태깅전략은 어떻게 하지? · Who – 태깅은 누가 관리하지? · 마치며 시작 안녕하십니까, GS네오텍 최준승입니다. 오늘은 이전과 좀 다른 형식으로 글을 써보려고 합니다. 이곳은 일종의 기술 블로그(?)다보니. 대부분...
Apache Superset으로 Athena 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 대규모 분산환경에서 수평 확장 가능한 오픈소스인 Apache Superset으로 presto 엔진을 기반으로 하는 AWS Athena의 쿼리 결과를 시각화 해보도록 하겠습니다. 먼저 Superset을 준비하고, 샘플 데이터를 AWS Glue data catalog에 등록한뒤 이를 AWS Athena와 연동하여 간단한 시각화를 해보겠습니다. 간단 소개 AWS Athena 서버리스 기반 완전...
AWS EMR Series – Apache Superset으로 presto 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 BI Tool인 Apache Superset을 사용하여 AWS EMR 클러스터의 presto를 연동하여 데이터를 시각화를 간단히 해보도록 하겠습니다. Apache Superset은 Python으로 만들어진 응용 프로그램 프레임워크인 Flask로 만들어졌습니다. Cloud-native하고, Airbnb에서 아래와 같이 사용중이라 하니 검토해볼만 합니다. “Superset is battle tested in large environments with hundreds of concurrent...
AWS EMR Series – Hive geospatial 데이터 조회
여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리 이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로 ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다. 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto, Hive와 같이 널리...
![[Re18특집] Amazon DynamoDB Transaction 지원과 On-demand Capacity 업데이트](https://media.blog.wisen.co.kr/wp-content/uploads/2018/12/06112547/reinvent2018.jpg)
[Re18특집] Amazon DynamoDB Transaction 지원과 On-demand Capacity 업데이트
여기서 다루는 내용 · Intro · Transaction 기능 소개 및 간단 확인 · On-demand 옵션 소개 및 간단 확인 · 마무리 Intro 이번 Re:Invent 2018 에서 Amazon DynamoDB의 Transaction 지원 기능과 On-demand Capacity 모드가 업데이트 되었습니다. 트랜잭션이 필요한 비지니스 로직 구현이 가능해졌고, On-demand 옵션으로 용량 산정 및 관리의 부담을 줄일 수 있게 되었습니다. 이번 포스팅에서는 해당 업데이트 주요 내용과...
최신 댓글