AWS EMR Series – Apache Superset으로 presto 쿼리 결과 시각화
여기서 다루는 내용 · 간단 소개 · 사전 준비 · 연동 확인 · 마무리 이번 시간에는 BI Tool인 Apache Superset을 사용하여 AWS EMR 클러스터의 presto를 연동하여 데이터를 시각화를 간단히 해보도록 하겠습니다. Apache Superset은 Python으로 만들어진 응용 프로그램 프레임워크인 Flask로 만들어졌습니다. Cloud-native하고, Airbnb에서 아래와 같이 사용중이라 하니 검토해볼만 합니다. “Superset is battle tested in large environments with hundreds of concurrent...
OX 퀴즈로 알아보는 신규 서비스 – AWS Backup
여기서 다루는 내용 · 시작하며 · OX퀴즈 – 초급 · OX퀴즈 – 중급 · 마치며 시작하며 안녕하십니까, GS네오텍 최준승입니다. 큰 인기없는 주간업데이트를 제외하고는 최근 포스팅이 좀 뜸했습니다. 이유야 여러가지가 있지만. 새로운 형식을 고민하기도 하고. 구미가 당기는 주제가 안보이기도 했고. 뭐 그랬습니다. 경험으로 볼때 이런 시기에는 가볍게 대충 주제를 하나 잡아서 글로 뱉어내는게 제일 좋은 방법입니다. 즉 오늘은 브릿지 개념으로....
AWS EMR Series – Hive geospatial 데이터 조회
여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리 이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로 ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다. 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto, Hive와 같이 널리...
AWS 주간 업데이트 19년-1월-첫번째
안녕하십니까. GS네오텍 최준승입니다. 작년 11월 말부터 리인벤트 특집을 준비하기 시작하면서. 기존에 (격)주간 단위로 진행하던 업데이트 정리작업이 뚝 끊겼습니다. 반면 그 와중에도 리인벤트 전후로 발표된 소소한 업데이트 내역은 꽤나 많았구요. 이걸 어떻게 정리하지. 그동안 미루고 미루다가. 오늘 포스팅으로 Queue를 비워내고자 합니다. 기존에 중요도 순으로 “메인/단신/초단신”으로 나눴던 분류는. 오늘은 New 카테고리로 새롭게 묶어 봤습니다. 신규 서비스 출시: 새로 출시된 AWS 서비스를...
![[Re18특집] Reinvent 2018 주요 업데이트 정리글 리뷰](https://media.blog.wisen.co.kr/wp-content/uploads/2018/12/06112547/reinvent2018.jpg)
[Re18특집] Reinvent 2018 주요 업데이트 정리글 리뷰
여기서 다루는 내용 · 리인벤트 정리 History · 주요 업데이트 정리글 링크 리인벤트 2018 업데이트 정리를 마무리하며 안녕하십니까, GS네오텍 최준승입니다. 12월 초부터 시작했던 리인벤트 2018 업데이트 정리 작업이 공식적으로(?) 완료되었습니다. 리인벤트 업데이트야. 원래부터 매년 폭탄이었으니. 올해 특별히 꼭지가 많은건 아니었고. 이 내용들을 어떻게 추려 정리할지 기준을 정하고. 여러명이 분야를 나누고. 이번주까지 전체 공개를 마치기까지. 이번처럼 계획적으로. 또 고민을 많이...
[Re18특집] Apache Flink를 Kinesis 와 함께 Serverless로 – Amazon Kinesis Data Analytics를 위한 Java 언어 지원 출시
여기서 다루는 내용 · 관리형 Flink · Wordcount 예제 · 정리 들어가며 안녕하십니까, GS네오텍 김범환입니다. Re:invent 2018 특집입니다. 이번에 Kinesis Data Analytics에서 Java를 사용할 수 있게 되었습니다. 다시 말하면 Flink라는 프레임워크를 사용할 수 있게 되었습니다. Kinesis Analytics와 이번부터 지원하는 프레임워크인 Flink에 대해 간단한 WordCount 예제와 함께 살펴보시죠. 관리형 Flink Kinesis라는 이름이 붙은 서비스는 무려 4개나 있습니다. 스트리밍, 실시간 처리에...
최신 댓글