AWS S3 相关知识点。

Amazon S3 概述

一、Amazon S3 基本概念

• ⭐ S3 存储桶的名称必须是全球唯一的
• 存储桶的数据存储在单个 区域 中
• ⭐ 存储桶中的对象是没有层次结构的（目录是对象键的一部分）
• S3 提供了强读写一致性

  强读写一致性：任何一次读都能读到某个数据的最近一次写的数据。
  弱读写一致性：数据更新后，如果能容忍后续的访问只能访问到部分或者全部访问不到，则是弱一致性。

二、存储桶、文件夹和对象

三、访问 Amazon S3

• EC2 实例可以通过 互联网网关 使用公有终端节点与 S3 进行通信
• ⭐ EC2 实例也可以通过 网关终端节点 使用私有连接访问 S3

S3 存储类别及成本优化

一、S3 的存储类别

• S3 标准 (S3 Standard)：常用用途
• S3 标准 - 不频繁访问存储 (S3 Standard-IA, S3 Standard-Infrequent Access)
  • 适合存储不频繁访问的数据
  • 存储价格较低
  • 检索价格较高
  • 将数据存储在至少三个可用区中
• S3 单区 - 不频繁访问存储 (S3 One Zone-IA, S3 One Zone-Infrequent Access)

  例如可以用来存储图片缩略图。

  • 可以接受丢失数据
  • 存储价格更低，低于 Amazon S3 Standard-IA
  • 将数据存储在单个可用区中
• S3 智能分层 (S3 Intelligent-Tiering)
  • 30 天没有访问的对象转移至 S3 Standard-IA，而如果你又重新访问了不频繁访问层的数据，这些对象又会被移动到 S3 Standard
  • 非常适合存储访问模式未知或不断变化的数据
  • 每个对象每月会产生少量的监控和自动化费用
• S3 Glacier Flexible Retrieval
  • 低成本存储，专为数据归档而设计
  • 能够在几分钟到几小时内完成对象检索
• S3 Glacier Deep Archive

  可以作为磁带的替代方案。

  • 适合保存每年只访问一两次的数据
  • 数据检索时间为 12 小时到 48 小时
  • 成本最低的对象存储类

二、S3 存储类型使用场景

三、S3 成本优化

• ⭐ 使用 S3 Select 和 Glacier Select 节省 CPU 和网络成本

  S3 Select：使用结构化查询语言 (SQL) 语句筛选 Amazon S3 对象的内容，并仅检索所需的部分数据。
  Glacier Select：允许直接对存储在 Amazon Glacier 中的数据运行查询，从而只从您的存档中检索所需数据来用于分析。

• 使用 S3 生命周期策略 (Lifecycle rules) 在存储层（类）之间自动移动数据
• 请求方付费 (S3 Requester Pays)

IAM 策略、存储桶策略和 ACL

一、IAM 策略

• ⭐ 在 IAM 策略中，Principal 元素是不需要的

  在基于资源的 JSON 策略中使用 Principal 元素指定允许或拒绝访问资源的主体（谁）。
  基于身份的策略是附加到 IAM 身份（用户、群体或角色）的权限策略。在这些策略中，附加了策略的身份即是主体的身份。

二、存储桶策略 (Bucket Policy)

• ⭐ 存储桶策略 (Bucket Policy) 可以跨 AWS 账号

三、S3 访问控制列表 (ACL)

• ⚠ 它是早于 IAM 的访问控制机制
• ⭐ S3 访问控制列表 (ACL) 不仅可以应用到存储桶，还可以直接应用到存储桶中的对象上

四、各访问控制机制与其适合的场景

五、⭐ 授权过程

• ⭐ 除了显示允许的策略，其他策略都拒绝

S3 版本控制、复制和生命周期配置

一、S3 版本控制 (Versioning)

二、S3 复制 (Replication)

• ⭐ S3 复制 (Replication) 前提是开启了 S3 版本控制

三、S3 生命周期配置

S3 加密

一、S3 加密类型

二、S3 默认加密配置

• ⚠ 启用默认加密之前就已经上传到存储桶的对象，其加密状态不会更改

三、阻止上传未加密的对象

使用 S3 预签名 URL 共享对象

一、使用 S3 预签名 URL 共享对象基本概念

S3 分段上传 (Multipart Upload) 和传输加速 (Transfer Acceleration)

一、S3 分段上传 (Multipart Upload) 基本概念

二、S3 传输加速 (Transfer Acceleration)

• ⭐ 在存储桶级别启用传输加速功能

S3 Select 和 Glacier Select

一、S3 Select 和 Glacier Select 基本概念

• ⭐ 截至 2024 年末，S3 Select 已经不再向新的 AWS 用户提供，推荐使用功能更强大的 Amazon Athena

  什么是 Amazon Athena？

  Amazon Athena 是一种交互式查询服务，让您能够轻松使用标准 SQL 直接分析 Amazon Simple Storage Service (Amazon S3) 中的数据。只需在 AWS Management Console 中执行几项操作，即可将 Athena 指向 Amazon S3 中存储的数据，并开始使用标准 SQL 运行临时查询，然后在几秒钟内获得结果。

S3 服务器访问日志记录

一、S3 服务器访问日志记录基本概念

S3 跨账户访问

一、S3 跨账户访问基本概念

二、S3 跨账户访问场景

架构模式之亚马逊 S3