본문 바로가기
반응형

전체 글350

데이터 분석 Athena Athena는 Amazon S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 쿼리 서비스로 데이터를 분석하려면 표준 SQL 언어로 파일을 쿼리해야 한다. 사용자가 S3 버킷에 데이터를 로드하거나 우리 S3 버킷에 데이터를 로드하면 Athena 서비스를 사용해 이동하지 않고 Amazon S3에서 데이터를 쿼리하고 분석할 수 있다. CSV, JSON, ORC, Avro Parquet 등 다양한 형식을 지원하고 가격 책정은 스캔된 데이터의 TB당 고정 가격을 지불하면 된다. 전체 서비스가 서버리스여서 데이터베이스를 프로비저닝 할 필요가 없다. Athena는 Amazon QuickSight라는 도구와 함께 사용하는 일이 많다. 이를 통해 보고서와 대시보드를 생성한다. QuickSight는 S3 버.. 2023. 7. 17.
AWS의 데이터베이스 RDS 관리형 PostgreSQL, MySQL Oracle, SQL 서버 MariaDB용 및 사용자 지정 RDS가 있다. Amazon RDS를 사용할 때는 RDS 인스턴스 크기와 EBS 볼륨 유형 및 크기를 프로비저닝해야 한다. 스토리지 계층에 오토 스케일링 기능이 있어도 프로비저닝해야 한다. 읽기 용량 확장을 위해 읽기 전용 복제본을 지원한다. 고가용성 목적으로 대기 데이터베이스를 다중 AZ에 둘 수 있다. 대기 데이터베이스는 재해 발생 대비용이며 쿼리를 수행할 수는 없다. RDS 데이터베이스 보안은 IAM을 통해 설정할 수 있다. 사용자 이름과 비밀번호로 DB에 연결할 수 있게 하거나 일부 사용자에게 IAM 인증을 부여할 수 있다. 네트워크 보안을 위해 Amazon RDS DB에 보안 그룹을 설정할 .. 2023. 7. 13.
서버리스 서버리스란 서버리스는 서버가 없다는게 아니라 서버를 관리할 필요가 없고, 서버가 보이지 않고, 서버를 프로비저닝 하지 않는 것이다. 그냥 코드를 배치하면 된다. 쉽게 말해 함수를 배치하는 것. 원래 서버리스는 FaaS(Function as a Service)를 뜻했지만 지금의 서버리스는 원격 관리되는 것을 모두 포함한다. Lambda, DynamoDB Cognito, API Gateway, Amazon S3, SNS와 SQS, Kinesis Data Firehose, Aurora Serverless, Step Functions, Fargate 등이 있다. 람다 람다는 가상의 함수이다. 관리할 서버 없이 코드를 프로비저닝하면 함수가 실행된다. 제한 시간이 있어서 실행 시간이 짧다. 최대 15분. Lambd.. 2023. 7. 12.
AWS의 컨테이너 ECS (Elastic Container Service) EC2 시작 유형 AWS에서 컨테이너를 실행하면 ECS 클러스터에 이른바 ECS 태스크를 실행하는 것이다. ECS 클러스터에는 들어있는 게 있는데 EC2 시작 유형을 사용하면 EC2 인스턴스가 들어있겠죠 EC2 시작 유형으로 EC2 클러스터를 사용할 때는 인프라를 직접 프로비저닝하고 유지해야 한다. 즉 Amazon ECS 및 ECS 클러스터가 여러 EC2 인스턴스로 구성된다. 이때 ECS 인스턴스는 특별하게 각각 ECS 에이전트(Agent)를 실행해야 한다. 그럼 ECS 에이전트가 각각의 EC2 인스턴스를 Amazon ECS 서비스와 지정된 ECS 클러스터에 등록한다. 이후에 ECS 태스크를 수행하기 시작하면 AWS가 컨테이너를 시작하거나 멈춘다... 2023. 7. 11.
Messaging System SQS (Simple Queue Service) SQS의 핵심은 자료구조 큐다. 큐는 메시지를 포함한다. 메시지를 담기 위해서 프로듀서가 SQS 대기열에 메시지를 전송해야 한다. 프로듀서는 한 개일 수도 그 이상일 수도 있다. 여러 프로듀서가 여러 개의 메시지를 SQS 대기열에 보내게 할 수 있다. 큐에서 메시지를 처리하고 수신해야 하는 대상을 컨슈머라고 한다. 소비자는 큐에서 메시지를 폴링하는데 이는 대기열에게 소비자 앞으로 온 메시지가 있는지를 물어보는 것이다. 만일 큐에 메시지가 있으면 소비자는 이 메시지를 폴링해서 정보를 얻는다. 그리고 그 메시지로 처리를 하고 큐에서 그 메시지를 삭제한다. 여러 컨슈머가 SQS 큐에서 메시지를 소비할 수 있도록 할 수도 있다. 큐는 프로듀서와 컨슈머 사이를 분리.. 2023. 7. 9.
스토리지 추가기능 SnowFamily 보안성이 뛰어난 휴대용 장치의 모음이다. AWS 내에서 두 가지 경우에 사용한다. 엣지에서 데이터를 수집하고 처리하기 위해 사용 (Snowcone, Snowball Edge) AWS 안팎으로 데이터를 마이그레이션할 때 (Snowcore, Snowball Edge, Snowmobile) Snow Family를 사용한 데이터 마이그레이션 대용량의 데이터를 네트워크를 경유해 전송하려면 많은 시간이 걸린다. AWS에 빠르게 접속해야 할 때가 있는데 그런 경우에 생기는 문제점은 전송 가능한 데이터의 양이 적다는 것과 제한된 연결 및 제한된 대역폭 문제와 네트워크를 통한 데이터 전송으로 비용이 발생한다는 것이다. 대역폭 문제도 존재한다. AWS에서 영상을 다운로드하는데 그 데이터 크기가 10TB.. 2023. 7. 8.
반응형

티스토리툴바