AWS EMR Series – Hive geospatial 데이터 조회
여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리 이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로 ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다. 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto, Hive와 같이 널리...
EMR(hive)에서 Kinesis data streams 쿼리
여기서 다루는 내용 · 서비스 간단 소개 · 구성 · Kinesis data streams 생성 및 데이터 전송 · EMR(hive) 생성 및 Kinesis data streams 쿼리 · Checkpoint 기능 적용 · 마무리 아직 서울 리전에서는 kinesis analytics가 지원 되지 않고 있어서(2018.04 기준) Kinesis data streams을 쿼리 하려면 별도의 개발이 필요한데요. EMR의 hive를 활용하여 실시간으로 수집되는 kinesis 데이터 스트림을 쿼리하는 작업을 해보겠습니다....
Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)
주의 : 테스트 환경, 방식, 데이터 사이즈 등에 따라 결과가 달라지므로 단순 참고용임을 말씀드립니다. 시작하기 서울 리전에 Athena 서비스 출시 [AWS한국블로그] AWS Athena, 서울 리전 출시 (2017년 11월 ) S3에 데이터를 저장하고 활용하는데 있어서 Redsfhift를 써야 될지 Athena를 써야될지 아니면 직접 EMR 서비스를 구축해서 써야 될지 고민. 기본적으로 Redsfhift, Athena, EMR 각각 서로 다른 요구와 사용 사례를 처리하기 떄문에 해당하는...
최신 댓글