![[Re2020] AWS Analytics 주요 업데이트 – EMR on EKS 신규 기능 출시](https://media.blog.wisen.co.kr/wp-content/uploads/2021/01/04133942/EMR.png)
[Re2020] AWS Analytics 주요 업데이트 – EMR on EKS 신규 기능 출시
안녕하세요. 김범환입니다. AWS는 매년 리인벤트 행사쯤에 맞추어 업데이트를 쏟아닙니다. 이번에도 여지없이 많은 업데이트를 쏟아냈는데 전체적으로 살펴보니 IoT, 머신러닝 분야에 해당하는 내용의 업데이트가 많네요. 제 생각엔 아무래도 신생(?)분야여서 새로운 기술들도 많이 나오고 수요도 많다보니 그런것 같습니다. Analytics 분야에도 업데이트가 꽤 있었습니다만 다른 분야에 비해서는 적은 편입니다. 분야를 Analytics로 한정지으면 어떻게 보면 업데이트가 거의 없어보이지만, computing쪽에서의 대거 업데이트,...
AWS EMR Series – Multi-master 기능 간단 확인
여기서 다루는 내용 · 간단 소개 · Multi-master cluster 생성 · Multi-master 확인 · 마무리 이번 시간에는 EMR의 multi-master 기능을 확인해 보겠습니다. AWS EMR Release Notes에 5.23.0 버전부터 마스터 노드의 HA를 위해 3개의 마스터 노드를 지원하도록 New Feature가 생겼습니다. 자세한 내용은 아래와 같으며, 간단한 테스트를 해보겠습니다. https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-5x.html#emr-5230-relnotes 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto,...
AWS EMR Series – Apache Superset으로 presto 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 BI Tool인 Apache Superset을 사용하여 AWS EMR 클러스터의 presto를 연동하여 데이터를 시각화를 간단히 해보도록 하겠습니다. Apache Superset은 Python으로 만들어진 응용 프로그램 프레임워크인 Flask로 만들어졌습니다. Cloud-native하고, Airbnb에서 아래와 같이 사용중이라 하니 검토해볼만 합니다. “Superset is battle tested in large environments with hundreds of concurrent...
AWS EMR Series – Hive geospatial 데이터 조회
여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리 이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로 ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다. 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto, Hive와 같이 널리...
AWS EMR Kerberos 인증 간단 소개
여기서 다루는 내용 · 간단 소개 · EMR – Kerberos 인증 활성화 · Kerberos 인증 – 클러스터 전용 KDC 구성 · Kerberos 인증 – Cross-realm trust 구성 · 마무리 AWS EMR은 Hadoop 클러스터 리소스 및 데이터 보안을 위해 몇 가지 기능들을 제공합니다. 이번 시간에는 EMR 클러스터의 Kerberos 인증 기능을 간단하게 활성화하여 확인해보도록 하겠습니다. 간단 소개 AWS EMR 관리형 하둡...
최신 댓글