AWS

AWS EMR – JupyterHub 간단 사용기
6월15

AWS EMR – JupyterHub 간단 사용기

여기서 다루는 내용 · 서비스 간단 소개 · EMR 생성 및 JupyterHub 접근 · Jupyter 확인 · 마무리   이제 Amazon EMR 릴리스 5.14.0에서 JupyterHub를 지원합니다.  (2018/06/14 기준) 이번 시간에는 EMR에 추가된 JupyterHub 서비스를 간단하게 사용해보는 포스팅을 준비했습니다.   서비스 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase,...

태그 : , , , ,

자세히보기
아마존 CloudFront 로그를 아마존 Elastic MapReduce로 분석
5월20

아마존 CloudFront 로그를 아마존 Elastic MapReduce로 분석

다루는 내용 · 콘솔에서 아마존 EMR 클러스터 생성 · EMR 마스터 노드에서 HIVE CLI로 CloudFront 로그 분석 · EMR Step에서 HIVE 스크립트로 CloudFront 로그 분석 · Ganglia로 EMR 상태 모니터링     실습 아마존 S3 버킷 생성   1. 콘솔에서 S3 클릭 2. Create Bucket 클릭 3. Create a...

태그 : , , ,

자세히보기
EMR(hive)에서 Kinesis data streams 쿼리
4월03

EMR(hive)에서 Kinesis data streams 쿼리

여기서 다루는 내용 · 서비스 간단 소개 · 구성 · Kinesis data streams 생성 및 데이터 전송 · EMR(hive) 생성 및 Kinesis data streams 쿼리 · Checkpoint 기능 적용 · 마무리   아직 서울 리전에서는 kinesis analytics가 지원 되지 않고 있어서(2018.04 기준)  Kinesis data streams을 쿼리 하려면 별도의 개발이 필요한데요....

태그 : , ,

자세히보기
[갑티슈시리즈] 2018년 1장
2월21

[갑티슈시리즈] 2018년 1장

안녕하세요. GS네오텍 최지훈입니다. 오늘부터 틈틈히 GS네오텍 TA(Technical Advisor)팀에 들어온 문의사항 중 선별하여 필요하실때 뽑아서 쓰시라고 갑티슈 시리즈를 연재할 생각입니다. (원래는 각티슈로 할려고 했는데 표준어가 갑티슈더군요.) 제가 작성한 글도 있지만 팀분들이 작성하신 메일과 블로그 및 AWS 문서들을 참고하여 작성하였습니다. (약간 날로 먹는 것 같기도 합니다. 🙂 ) 여담은 여기까지고 1장을...

태그 : , , , , , ,

자세히보기
Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)
11월17

Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)

주의 : 테스트 환경, 방식, 데이터 사이즈 등에 따라 결과가 달라지므로 단순 참고용임을 말씀드립니다. 시작하기 서울 리전에 Athena 서비스 출시   [AWS한국블로그] AWS Athena, 서울 리전 출시 (2017년 11월 ) S3에 데이터를 저장하고 활용하는데 있어서 Redsfhift를 써야 될지 Athena를 써야될지 아니면 직접 EMR 서비스를 구축해서 써야 될지 고민. 기본적으로 Redsfhift,...

태그 : , , , , ,

자세히보기
Page 2 of 3123