AWS

AWS EMR Series – Hive geospatial 데이터 조회
1월18

AWS EMR Series – Hive geospatial 데이터 조회

여기서 다루는 내용 · 간단 소개 · 사전 준비 · Hive UDF 등록 및 geospatial 데이터 조회 · 마무리   이번 시간에는 EMR 클러스터에서 Hive에서 지리 공간 데이터를 조회하도록 하겠습니다. Hive에서는 자체적으로 geospatial 을 지원하지 않으므로  ESRI에서 제공하는 spatial-framework-for-hadoop 을 사용하여 Hive UDF 생성 및 활용하는 방식으로 진행합니다.   간단 소개 AWS...

태그 : , , ,

자세히보기
EMR(hive)에서 Kinesis data streams 쿼리
4월03

EMR(hive)에서 Kinesis data streams 쿼리

여기서 다루는 내용 · 서비스 간단 소개 · 구성 · Kinesis data streams 생성 및 데이터 전송 · EMR(hive) 생성 및 Kinesis data streams 쿼리 · Checkpoint 기능 적용 · 마무리   아직 서울 리전에서는 kinesis analytics가 지원 되지 않고 있어서(2018.04 기준)  Kinesis data streams을 쿼리 하려면 별도의 개발이 필요한데요....

태그 : , ,

자세히보기
Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)
11월17

Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)

주의 : 테스트 환경, 방식, 데이터 사이즈 등에 따라 결과가 달라지므로 단순 참고용임을 말씀드립니다. 시작하기 서울 리전에 Athena 서비스 출시   [AWS한국블로그] AWS Athena, 서울 리전 출시 (2017년 11월 ) S3에 데이터를 저장하고 활용하는데 있어서 Redsfhift를 써야 될지 Athena를 써야될지 아니면 직접 EMR 서비스를 구축해서 써야 될지 고민. 기본적으로 Redsfhift,...

태그 : , , , , ,

자세히보기