클라우드 기본 서비스(스토리지)

[KT] AIVLE SCHOOL 33일차

 

스토리지의 종류

• Block Storage
  • 사용자의 데이터가 Local Disk 또는 SAN Storage 상의 Volume에 Block 단위로 저장 및 Access 하는 스토리지 유형
• File Storage
  • 파일 시스템으로 구성된 저장소를 Network 기반 Protocol을 사용하여 파일 다누이로 Access하는 스토리지 유형(NAS)
• Object Storage
  • Encapsulate 된 데이터 및 속성, 메타데이터, 오브젝트 ID를 저장하는 가상의 컨테이너, API 기반의 데이터 접근
  • 메타데이터 또는 정책에 기반한 운영

---

EBS(Elastic Block Store)

• AWS에서 제공하는 Block Storage 서비스
• 사용이 쉽고 확장 가능한 고성능 블록 스토리지 서비스로서 EC2 용으로 설계
• 특징
  • EC2 인스턴스를 위한 비휘발성 블록 스토리지
  • 가상 디스크 = Volume(볼륨)
  • API 기반 불륨 생성, 연결, 삭제
  • 다양한 타입 지원
  • 네트워크를 통한 연결
    • 인스턴스 간 연결 및 해제 언제든 가능
    • 특수한 경우 제외하고 EBS Volume 은 동시에 하나의 Instance 연결 가능
  • 온라인 변경
    • 디스크 추가 및 Scale up
• EBS 볼륨과 인스턴스는 같은 Availability Zone에 있는 경우 연결 가능
• 인스턴스 볼륨 연결 시 데이터 전송 속도가 중요하므로 동일 네트워크 상의 Availability Zone에 있어야 데이터 처리 속도 보장
• EBS 볼륨은 Snapshot 생성 후 다른 AZ에 EBS 생성 가능
• EBS 볼륨은 Snapshot 생성 후 다른 Region으로 Snapshot Copy
• 타 Region으로 복제된 Snapshot으로 EBS 볼륨 생성
• EBS 볼륨 유형
  • SSD
    • 플래시 메모리를 활용한 데이터 저장 방식
    • 데이터 위치에 따른 성능 차이 없음
    • IO가 매우 빠르고 소비 전력 적음
    • HDD 대비 비싸다는 단점
  • HDD
    • 마그네틱 판에 데이터를 기록하는 방식
    • 물리적으로 회전하는 디스크 축(Spindle) 존재
    • 데이터가 어디에 기록되어 있느냐에 따라 속도 차이 발생
    • SSD 대비 성능이 느리고 물리적 충격에 약함
    • 동일 데이터 저장 시 SSD 보다 저렴
  • EBS를 사용 시 물리적으로 무엇을 사용하느냐는 사용자에게 큰 의미는 없음(클라우드이기 때문)
  • 어떤 Type을 사용하느냐에 따라 성능과 특성에 따른 차이가 있으므로 확인 필요
• Volume Type을 선택할 때 중요 고려 지표
  • Size
    • 데이터 저장 용량
    • 얼만큼의 데이터 저장 필요한지 초기 산정
  • IOPS
    • Input / Output Per Seconds
    • 초당 데이터 입출력 Count 지표
    • 데이터를 얼마나 빠르게 읽고 쓸 수 있는지에 대한 대표적인 성능 지표
  • Throughput
    • 처리량 지표
    • 보통 MiB/S 단위로 사용하며 초당 얼만큼의 데이터를 처리 가능한지에 대한 성능 지표
  • Cost
    • 클라우드 사용 시 가장 중요하게 고려되어야 하는 점이 바로 비용
    • 서비스 요구사항에 따른 충분한 성능과 용량을 준비하되 비용이 낭비되지 않도록 하는 것이 핵심
• EBS Volume Snapshot
  • EBS 볼륨을 특정 시점 기준으로 복사하여 백업하는 기능
  • 볼륨을 그대로 복사해 놓는 방식으로 스냅샷 생성 속도가 굉장히 빠른 것이 특징
  • Snapshot은 추후 EBS 볼륨으로 다시 생성하거나 AMI로 변환하여 인스턴스를 배포하는데 사용됨
  • EBS Volume Snapshot 저장소
    • EBS 볼륨 스냅샷은 실제로는 S3에 저장
    • 이때 스냅샷은 마지막 스냅샷 이후 변경분만 저장되는 증분식 백업(incremental)
    • 볼륨의 데이터 변경 부분만 신규 스냅샷에 저장되며 나머지 부분은 기존 스냅샷을 참조하는 형태
  • EBS Snapshot 활용
    • Snapshot을 활용하면 EBS 볼륨을 Availability Zone 넘어서 복사할 수 있음
    • Snapshot을 다른 Regoin으로 복제하면 동일 Volume을 Region 단위로 복사하여 넘기는 것도 가능

---

AMI

• Amazon Machine Image
• 인스턴스를 배포 가능한 템플릿
• 운영체제(OS) + System 서버 + Application이 묶여 있는 형태

S3

• Simple Storage Service
• AWS에서 제공하는 Object Storage 서비스
• 언제 어디서나 원하는 양의 데이터를 저장, 검색할 수 있는 객체 기반 스토리지 서비스
• 특징
  • Object 스토리지 서비스
  • 웹 서비스 기반 인터페이스 제공
    • REST API 기반 데이터 생성 / 수정 / 삭제
  • 고가용성 : 99.9 (x11) % 내구성 제공
  • 무제한 용량 제공
  • 초기 저장 용량 확보 불필요, 사용한 만큼 과금
  • 강력한 보안 기능 (IAM과 연계된 권환 관리)
  • Versioning 기능 제공
  • 주요 용도
    • Backup & Archiving
    • Big Data Analytics
    • Cloud-native Application Data
    • Static Website Hosting
• S3 Bucket
  • Object를 저장하는 컨테이너(저장소 역할)
  • Object는 반드시 하나의 Bucket에 속해ㅑ 함
  • Bucket에 저장할 수 있는 Object는 무제한
  • AWS Account 당 최대 Bucket 100개까지 가능
• S3 Object, Key
  • Object(객체)는 S3에 저장되는 기본 개체
  • Object 하나의 최대 크기는 5TB
  • Object는 데이터와 메타데이터로 구성되어 있음
  • 메타데이터 : Object를 설명하는 이름-값 페어
  • 기본 메타데이터 및 Content-Type 같은 HTTP 메타데이터 포함
  • Key(키) 및 Version ID (Versioning 활성화한 경우) 를 통해 버킷 내 고유 식별
  • Bucket 내 Object에 대한 고유한 식별자
  • "Bucket + Key + Version ID" 조합은 각 Object를 고유하게 식별 가능
  • S3 내 모든 Object는 웹 서비스 endpoint를 갖게 됨
• Region
  • Bucket 생성 시 해당 Bucket을 저장할 Region을 선택 가능
  • 지연 시간 최소, 비용, 규정 요구 사항 준수 등 다양한 조건에 따라 Region을 선택
  • 해당 Bucket에 생성된 Object는 Bucket의 Region에 따라 저장됨
  • 독특하게도 다른 리소스들과는 다르게 S3는 AWS Console에서 모든 Region에 생성된 Bucket이 다 같이 보임
• Versioning
  • 동일 Bucket 내 여러 개의 Object 변형을 보존하는 방법
  • Key는 동일하지만 Version ID가 다른 두개의 Object 보유
  • Bucket Versioning 사용 시 모든 버전의 Object를 보존, 복원 가능
  • 변경 사항을 계속 저장하는 것이기 때문에 S3 저장 비용 추가 지불
• S3 스토리지 클래스
  • S3 Standard
    • 자주 액세스 하는 데이터를 위한 높은 내구성, 가용성, 성능을 갖춘 스토리지 클래스.
    • 여러 Availability Zone 에 분산 중복 저장, 99.9(x11) % 의 내구성, 99.99% 의 가용성 보장
    • 클라우드 웹 어플리케이션, 컨텐츠 배포, 빅데이터 분석 등 다양한 케이스 적합
  • S3 Standard-Infrequent Access (Standard-IA)
    • 자주 액세스하지 않는 데이터이지만, 필요할때 빠르게 액세스해야 하는 데이터에 적합한 클래스.
    • 데이터 내구성과 고가용성은 Standard 와 동일하나, 데이터 액세스에 소요되는 지연속도가 Standard에 비해 느림.
    • GB 당 검색 요금 추가 적용. 장기 스토리지, 백업 및 재해 복구 파일 저장에 적합
  • S3 One Zone Infrequent Access (S3 One Zone-IA)
    • 단일 Availability Zone 에 데이터를 중복 저장하도록 설계된 스토리지 클래스. (Standard-IA 대비 20% 낮은 비용)
    • 온프레미스 데이터 또는 쉽게 다시 생성 가능한 데이터의 보조 백업 복사본 용도로 적합.
  • S3 Intelligent-Tiering
    • 데이터 액세스 패턴을 지속적으로 확인 및 분석하여 자동으로 가장 효율적인 스토리지 클래스로 이동하여 주는 클래스.
    • 약간의 월별 객체 모니터링 및 자동화 요금 지불
  • S3 Glacier Instant Retrieval
    • 데이터에 거의 액세스 하지 않으면서, 밀리초 단위 검색이 필요한 장기 데이터 저장 용도 클래스.
    • 분기당 1회 액세스한다고 가정, Standard-IA 대비 최대 68% 저렴.
    • 의료 이미지, 뉴스 미디어 아카이브 용도에 적합. S3 수명 주기 정책을 사용하여 데이터 전송 가능.
  • S3 Glacier Flexible Retrieval
    
    • 연간 1~2회 액세스하고 비동기식으로 검색되는 아카이브 데이터 저장 용도 클래스.
    • Glacier Instant Retrieval 대비 최대 10% 저렴.
    • 즉각적인 액세스 없이 백업 또는 재해 복구 와 같은 대규모 데이터 집합 저장 용도로 적합
  • S3 Glacier Deep Archive
    
    • S3 중 가장 저렴한 비용의 스토리지 클래스.
    • 최소 7~10년 이상 데이터를 저장하는 고객(금융 서비스, 의료, 공공 부문과 같은 엄격한 규제 산업) 을 위해 설계.
  • S3 on Outposts
    
    • 온프레미스 Outpost 환경에서 제공되는 객체 스토리지 클래스.
    • 로컬 저장 요구사항이 있는 워크로드에 적합하며, 데이터를 온프레미스 어플리케이션과 가까이 저장해서 까다로운 성능 요구사항을 목표로 함.