AWS

아마존 CloudFront 로그를 아마존 Elastic MapReduce로 분석
5월20

아마존 CloudFront 로그를 아마존 Elastic MapReduce로 분석

다루는 내용 · 콘솔에서 아마존 EMR 클러스터 생성 · EMR 마스터 노드에서 HIVE CLI로 CloudFront 로그 분석 · EMR Step에서 HIVE 스크립트로 CloudFront 로그 분석 · Ganglia로 EMR 상태 모니터링     실습 아마존 S3 버킷 생성   1. 콘솔에서 S3 클릭 2. Create Bucket 클릭 3. Create a...

태그 : , , ,

자세히보기
EMR(hive)에서 Kinesis data streams 쿼리
4월03

EMR(hive)에서 Kinesis data streams 쿼리

여기서 다루는 내용 · 서비스 간단 소개 · 구성 · Kinesis data streams 생성 및 데이터 전송 · EMR(hive) 생성 및 Kinesis data streams 쿼리 · Checkpoint 기능 적용 · 마무리   아직 서울 리전에서는 kinesis analytics가 지원 되지 않고 있어서(2018.04 기준)  Kinesis data streams을 쿼리 하려면 별도의 개발이 필요한데요....

태그 : , ,

자세히보기
[갑티슈시리즈] 2018년 1장
2월21

[갑티슈시리즈] 2018년 1장

안녕하세요. GS네오텍 최지훈입니다. 오늘부터 틈틈히 GS네오텍 TA(Technical Advisor)팀에 들어온 문의사항 중 선별하여 필요하실때 뽑아서 쓰시라고 갑티슈 시리즈를 연재할 생각입니다. (원래는 각티슈로 할려고 했는데 표준어가 갑티슈더군요.) 제가 작성한 글도 있지만 팀분들이 작성하신 메일과 블로그 및 AWS 문서들을 참고하여 작성하였습니다. (약간 날로 먹는 것 같기도 합니다. 🙂 ) 여담은 여기까지고 1장을...

태그 : , , , , , ,

자세히보기
Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)
11월17

Test Benchmark : AWS Redsfhift, Athena, EMR(Presto, Hive)

주의 : 테스트 환경, 방식, 데이터 사이즈 등에 따라 결과가 달라지므로 단순 참고용임을 말씀드립니다. 시작하기 서울 리전에 Athena 서비스 출시   [AWS한국블로그] AWS Athena, 서울 리전 출시 (2017년 11월 ) S3에 데이터를 저장하고 활용하는데 있어서 Redsfhift를 써야 될지 Athena를 써야될지 아니면 직접 EMR 서비스를 구축해서 써야 될지 고민. 기본적으로 Redsfhift,...

태그 : , , , , ,

자세히보기
AWS Elastic MapReduce(EMR) 소개
7월17

AWS Elastic MapReduce(EMR) 소개

다루는 내용 · S3 버킷 생성하기 · 아마존 관리 콘솔에서 아마존 EMR 실행하기 · Word count 예제 프로그램 실행하기 · 아마존 CludWatch 메트릭으로 클러스터 모니터링하기 · 아마존 S3에서 아마존 EMR 결과 확인하기     실습 아마존 S3 버킷 생성   1. 콘솔에서 S3 클릭 2. Create Bucket 클릭 3....

태그 : , , , , , , , , ,

자세히보기
Page 2 of 212