AWS EMR – JupyterHub 간단 사용기
여기서 다루는 내용 · 서비스 간단 소개 · EMR 생성 및 JupyterHub 접근 · Jupyter 확인 · 마무리 이제 Amazon EMR 릴리스 5.14.0에서 JupyterHub를 지원합니다. (2018/06/14 기준) 이번 시간에는 EMR에 추가된 JupyterHub 서비스를 간단하게 사용해보는 포스팅을 준비했습니다. 서비스 간단 소개 AWS EMR 관리형 하둡 클러스터 플랫폼 Apache Spark, HBase, Presto, Hive와 같이 널리 사용되는 분산 프레임워크를 실행 Amazon S3 및Amazon DynamoDB와...
AWS Glue 간단 사용기 – 3부
여기서 다루는 내용 · Data catalog – Athena 연동 및 확인 · Data catalog – EMR (spark/presto/hive) 연동 및 확인 · Data catalog – Redshift 연동 및 확인 · 마무리 AWS Glue 간단 사용기 – 1부 AWS Glue 간단 사용기 – 2부 AWS Glue 간단 사용기 – 3부 1부에서 MovieLens 에서 제공하는 오픈 데이터를 활용하여 간단하게 Glue Data catalog를...
아마존 CloudFront 로그를 아마존 Elastic MapReduce로 분석
다루는 내용 · 콘솔에서 아마존 EMR 클러스터 생성 · EMR 마스터 노드에서 HIVE CLI로 CloudFront 로그 분석 · EMR Step에서 HIVE 스크립트로 CloudFront 로그 분석 · Ganglia로 EMR 상태 모니터링 실습 아마존 S3 버킷 생성 1. 콘솔에서 S3 클릭 2. Create Bucket 클릭 3. Create a Bucket – Select a Bucket Name and Region 창에서 ∙...
AWS Glue 간단 사용기 – 2부
여기서 다루는 내용 · ETL Job 생성 · ETL Job 실행 및 결과 확인 · 마무리 AWS Glue 간단 사용기 – 1부 AWS Glue 간단 사용기 – 2부 AWS Glue 간단 사용기 – 3부 1부에서 MovieLens 에서 제공하는 오픈 데이터를 활용하여 간단하게 Glue Data catalog를 구축하는 시간을 가졌습니다. 이번 시간에는 생성된 Data catalog를 기반으로 ETL job을 실행해 보도록 하겠습니다....
AWS Glue 간단 사용기 – 1부
여기서 다루는 내용 · 서비스 간단 소개 · Dataset 준비 · Glue Data catalog 구축 · 마무리 AWS Glue 간단 사용기 – 1부 AWS Glue 간단 사용기 – 2부 AWS Glue 간단 사용기 – 3부 AWS Glue가 이제 서울 리전에서 사용 가능하기 때문에 이 서비스를 간단하게 사용해보는 포스팅을 준비했습니다. 이번 시간에는 MovieLens 에서 제공하는 오픈 데이터를 활용하여 간단하게 Glue Data...
최신 댓글