AWS 数据传输加速（八）

阅读量：5033 次

发布时间：2019-06-12

本文共 7705 字，大约阅读时间需要 25 分钟。

AWS CloudFront

概述

一个CDN服务，加快网页和其它下载全球分布式网络缓存服务器

CloudFront通过全球性的边缘站点将内容缓存到世界各地实现CDN

在更邻近的位置提供更低的延迟，更好的用户体验和更小的基础设施压力

在架构中的多个层采用缓存，可以降低成本和延迟，并提高应用程序性能

使用缓存可以尽可能的减少冗余数据检索操作

CloudFront不仅可以支持S3,EC2,ELB等AWS服务，

可以与外部非AWS服务器无缝集成

利用Cloudfront可以降低成本，因为第一个请求后就无需再为S3传输该文件而付费,且S3到Cloudfront 的传输是免费的

峰值限制 10Gbps 或 15000 RPS ，可以申请扩展

最多能支持20GB的单个文件传输

利用Cloudfront 缓存和和加速技术，可以支持所有的内容加速，包括
- 静态 - TTL较长的图像，js, html 等
- 视频 - rtmp 和 http流
- 动态 - 自定义项和无法缓存的内容
- 用户输出 - http操作，包括Put/Post

安全
- 虽然支持Http 和 Https访问，但是建议制定仅通过SSL（https）安全的提供内容
- Cloudfront不提供数据持久性，对象没有请求超时后会自动删除
- Cloudfront要求所有对其进行的管理和控制的API请求都需要经过身份验证，且仅能使用SSL端点访问

CloudFront 支持与AWS平台的集成
- 与AWS资源集成，包括DNS、视频转码、存储、计算、负载均衡、Marketplace等
- 提高其他资源的扩展性
- 减轻EC2和S3的负载
- 支持自定义来源
- 与S3和ELB集成使用可以获得额外折扣

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

特性

针对网络路径实现TCP/IP优化

保持活动连接以缩短往返时间

SSL/TLS 终端邻近受众

POST/PUT 上传优化

基于延迟的路由

支持RTMP（Flash）和 HTTP传输

直播和VOD流处理

自适应比特率流处理

HTTP/HTTPS 文件传输

私有内容

通过编程方式使内容失效

符合行业标准的详细访问日志

通过API实现完全控制

来源选择

典型应用场景：静态网站、视频和富媒体、在线游戏、互动机构、软件下载，软件或大型文件分发，用户广泛分布的业务

配置CloudFront

边缘站点（Edge Location）
- 用于内容缓存的地方

来源 Origin
- 分支指向的来源地址

CloudFront 分配
- 在设置CloudFront时就需要创建分配
- DNS会指向该CloudFront分配，而分配会指向内容来源，实际就是用分发域名替代原域名，其余文件路径保持不变
- 支持通过DNS 的 CNAME 创建DNS别名
- Web分配
  - 访问web内容，最多支持10个S3存储桶或自定义来源
- RTMP分配
  - 媒体流，RTMP 始终来源于S3存储桶

Cloudfront 还支持静态内容负载分流
- 如果使用Cloudfront缓存动态内容时，它仍然可以通过缓存S3上的静态内容实现分流，从而提高性能
- 静态资产需要存放在S3上，为静态资产创建绝对URL引用，针对一次写入多次读取优化

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

CloudFront两种分配方式
- 方式一：通过单独别名记录和缓存静态内容，动态内容直接从源读取，最高效但是需要额外的设置和管理
- 方式二：使用URL暂存动态内容，所有的内容都会经过边缘站点，最易管理

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

缓存控制
- 一旦资源被CloudFront被请求并提供服务，资源就会保留在缓存中，直到过期或者被删除
- CloudFront使用缓存控制标头来确定在来源中检查文件更新版本的频率
- 为文件设置缓存控制标头可以识别静态或动态的内容（默认未设置）
- Amazon CloudFront 支持分发用 HTTP cookie 自定义或个性化的动态内容。
- 使用单个CloudFront分配来传输所有内容有助于整个网站的性能优化
- 可以通过设置缓存控制标头来设置文件在边缘站点的有效期
- 缓存标头设置TTL时间来标记缓存过期，默认为24小时
- 通过延长缓存超期时间可以有效提高持续访问数据的性能

刷新缓存内容
- 最佳实践
  - 使用版本标识符 v1v2v3 来作为文件路径的一部分，旧版本刻在TTL到期后自动删除
  - CloudFront向来源发送GET请求会使用If-Modified-Since标头，让来源在内容没有更改的情况下发出提示，表明可以继续使用该缓存
- 更改对象名称
  - 比较复杂的解决方案，更改对象名称后会强制刷新CloudFront
  - 如果使用相同名称更新，则要等到下一次GET才能刷新到边缘站点
- 手动使对象失效
  - 虽然可以手工调用API删除缓存文件，但是正常情况不建议这么做
  - 系统必须与所有边缘站点强制交互
  - 是效率非常低，成本非常高的最后的解决方案
- 无效对象请求
  - 利用每个分配最多可以一次处理3000个对象的无效请求，以及一个对象最对能够处理3000个请求
  - 通过发送无效对象请求使得额外的请求失效
  - 仅在意外情况下使用

高级功能

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

利用Geo Restriction 进行国家/地区列表访问策略执行

支持返回4xx 5xx等各种错误信息，以及支持自定义错误信息

动态内容、多种来源、缓存行为策略
- 缓存行为
  - 缓存内容指定哪些请求由哪个来源提供服务
  - 缓存行为可以基于以下条件判断
- 基本路径模式
  - 将请求转发到哪个源
  - 是否将查询字符串转发至某个源
  - 访问指定文件是否需要签名URL
  - 是否需要HTTPS访问
  - 文件保留在CloudFront缓存的时间量
- 每个请求需要逐条匹配条件，最后一条需要匹配*

整个网站缓存
- 利用缓存行为和多个来源提供整个网站服务，并支持不同客户端设备的不同行为

私人内容缓存
- CloudFront只服务于限定的请求者，可以利用多个机制识别
  - 已签名的URL - 仅在特定时间段有效的URL，指定特定的URL
  - 签名Cookie - 使用公钥和私钥验证
  - 源访问标识OAI - 利用S3访问限制绑定AWS CloudFront用户，确保所有的S3访问必须通过CloudFront
  - 支持基于地理位置的限制

流式处理
- 通常情况下，流式处理指的通过 Internet 向最终用户分发音频和视频，而无需在播放前下载媒体文件。
- 流式处理让查看者能够更多地控制观看体验。
- 流式处理让您能够更好地控制内容，因为在查看者看完视频之后，其客户端或本地驱动器上不会留存任何文件。
- 流式处理能够帮助您降低成本，因为它只分发查看者实际观看的那部分媒体文件。
- Amazon CloudFront 支持视频点播 (VOD) 流式处理协议
- Amazon CloudFront 支持将实时流传输到多个平台

安全特性

保护数据安全
- CloudFront 自定义SSL支持，可以让用户自定义域名和证书
- SNI 自定义SSL
  - 默认开启无需额外付费，允许多个域通过同一个IP地址提供SSL流量，老浏览器可能不支持
  - 服务器名称指示 (SNI) 是安全传输层 (TLS) 协议的延伸。该机制识别相关 SSL 请求相关的域（服务器名称）以便在 SSL 握手时使用适当的证书。这允许单个 IP 地址用于多个服务器。
- 专用IP自定义SSL
  - CloudFront分配专用IP地址在边缘站点提供SSL内容，可以支持所有浏览器，需要单独申请。

使用备用的HTTPS域名
- 需要特殊的权限申请，将两个及以上的自定义SSL证书与CloudFront分配相关联，且仅当多个分配且需要轮换证书时，才会临时使用第二个证书。
- 创建CloudFront分配时，必须使用同一个AWS账户上传IAM证书，必须以/cloudfront/开头，以路径/结尾

高级SSL功能支持
- 高安全性密码，
- 在SSL过程中，CloudFront和客户端自动商定一个密码，该密码可以和Elliptic Curve签名和密钥交换等功能结合，提高HTTPS的安全性
- 完美前向保密
  - 通过唯一的随机会话密钥进一步防范对加密数据的窃听

字段级加密
- 字段级加密是 CloudFront 的一项功能，使您可以安全地将用户提交的数据（如信用卡号）上传到您的来源服务器。使用此功能，您可以在将 PUT/POST 请求转发到您的源之前，使用特定于字段的加密密钥（由您提供）对 HTTPS 表单中的敏感数据进行进一步加密。这可确保敏感数据只能被应用程序堆栈中的某些组件或服务解密和查看

OCSP Stapling
- 通过迁移在线证书状态协议（OCSP）检查来减少每次SSL/TLS 握手花费的时间，利用OCSP Stapling 功能，客户端无需再次处理证书验证，从而提高性能

会话票证
- CloudFront会加密SSL会话信息并将其存储到一个票证中，客户端每次通过票证恢复安全连接，而不是重复SSL握手过程，从而减少重启SSL/TLS会话花费的时间

PCI/HIPPA 合规性满足
- 需要手工启用CloudFront log
- 同时还需要捕获发送到CloudFront的API请求
- 可回溯过去一年

将内容设置为私有
- 限制对S3中的对象访问
- 要求用户使用签名URL
- 为可信签署人创建CloudFront密钥对
- 编写可生成签名URL的代码
- 也可以通过使用Cookies实现
- 将可信签署人添加到分配中，则必须使用签名才能访问内容
- 签名URL能够帮助访问内容提供更多的控制，如到期日期时间等，
- 通过标准策略限制对单个对象访问
- 通过自定义策略进行模式匹配访问，限制对一个或多个对象访问

使用OAI（来源访问标识）限制访问
- 利用Cloudfront的OAI来代表用户从S3中读取对象
- 拒绝直接通过S3 URL访问对象

用IAM控制对CloudFront资源的API访问
- 在IAM中，可以指定CloudFront提供任何及所有API操作

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

AWS Elastic Cache

概述

一项完全托管的分布式内存缓存环境的web服务

支持Memcached 或者 Redis 协议的缓存引擎

ElastiCache 支持缓存故障自动检测和恢复的高可用架构
- 本身是高速缓存
- 可用于存储会话缓存
- 可用于Pub/Sub Model 消息缓存
- 可用于有序集合（Sorted Set）

典型拓扑 - 旁路缓存架构

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

数据访问模式
- 从内存中检索会始终比从数据库中检索快
- 缓存请求数量最大的项目，而不缓存不被经常请求的项目

节点和集群
- T2适用于偶尔爆发的小规模应用，M3是能够适应大多数场景，R3是特别对内存密集型工作进行了优化的
- 设计时应更多的使用多个较小容量节点而不是几个较大容量节点来避免缓存节点故障的影响

缩放
- 支持水平和垂直缩放
- 水平缩放可以轻松扩展节点
- 垂直缩放不能直接调整缓存大小，但是可以创建新的更大的集群然后直接将流量重定向

访问控制
- 利用IAM安全组实现对ElastiCache的入站流量控制
- 当部署在VPC内部时，只能发布私有地址，永远不能被互联网或者VPC外的主机访问
- 子网ACL可以更精细的控制网络访问

Memcached引擎

通过简单接口在内存中读取和写入数据（key/value)

Memcached支持API调用

支持弹性扩展Memcached集群

可以对集群进行分片支持并行操作

将数据视为blob块使用unique key进行检索

不支持数据加密

自动发现
- 对于跨节点分区的Memcached群集，支持使用在各个客户端实现自动发现
- 无需在应用程序设计时考虑集群架构细节。

缩放
- Memcached 支持对数据进行分区扩展到最大20个节点（或更多）
- 利用自动发现实现对集群节点的添加和删除

复制和恢复
- Memcached集群初始化始终为空
- Memcached是独立内存服务，不支持复制，不支持快照，没有任何冗余保护服务

Redis引擎

主要功能与Memcached类似

特性
- 支持对数据根据热度排序，并充当高速消息代理
- 利用发布和订阅消息抽象使得应用和消息组件分离从而提升灵活性
- 支持静态和传输中加密，3.2.10不支持

复制和多可用区
- Redis始终是单节点，但是可以将多群集组成一个复制组
- 所有复制组有只有一个节点处理写入，但是可以有5个副本处理读取请求
- 支持五个只读副本来分流读取请求，并支持在故障时成为新的主节点
- 支持多可用区复制组，提供更高的可用性
- 集群之间的复制是异步的，所有数据可以前存在一个小的时延

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

备份和恢复
- 支持将内存数据保存到磁盘，可以备份数据快照然后从备份中恢复
- 快照会影响缓存性能，最佳实践是对一个只读副本执行快照而不是对主节点快照
- Redis 集群可以从备份中初始化
- Redis快照文件会被存在S3中
- 支持自动快照或者手动快照，自动快照可以设置保留时间，手动快照必须手工删除

安全性

通过设置缓存安全组来控制对缓存集群的访问

默认关闭所有的网络访问，任何允许都需要显式声明，

需要明确指定允许访问EC2主机或EC2安全组

暂不支持对IP地址的支持

AWS Storage Gateway

概述

用于关联企业内部IT与AWS存储服务的集成软件

在本地缓存频繁访问的数据、同时在S3或者Glacier中加密存储所有数据来提供低延迟性能

Storage Gateway 是一个安装在数据中心的VM，它向AWS控制台注册，并且关联内部的iSCSI设备

Storage Gateway也可以作为一个硬件提供，安装在R640服务器上

使用SSL进行传输，采用SSE-S3 服务器端AES 256 对称加密在S3中存储数据

仅发送更新数据以减少Internet负载

可以与Direct Connection 配合使用

按照存储、请求和数据传输进行计费

文件网关（File Gateway）

通过 NFS 连接直接访问存储在 Amazon S3的数据，并且本地进行缓存。

数据在S3上可以被直接访问。

需要通过S3生命周期策略将文件移动到 Amazon Glacier上，但应用程序如果尝试访问Glacier上的数据会报通用IO错误，只能通过S3 Console 访问

已配置好的 S3 存储桶将可以作为网络文件系统 (NFS) 挂载点或服务器消息块 (SMB) 共享文件使用。您的应用程序通过 NFS 或 SMB 对文件及目录执行读写操作，从而作为文件服务器与网关交互。

网关会将这类文件操作转换为针对 S3 存储桶的对象请求。您最近使用的数据会缓存在网关上以实现低延迟访问，并且您的数据中心和 AWS 之间的数据传输由网关完全托管并优化

通过文件网关写入是先将数据存储到本地然后再异步写入S3，对于一个存储桶，不建议有多个网关写入

要跨账户访问文件可以采用共享文件方式，每个存储桶共享文件不限，但每个网关最多10个共享文件

单个文件最大5TB（也是S3的限制），文件网关总量为8EB （S3虽然本身没有上限）

不支持去重和压缩

卷网关（Volume Gateway）
- 利用iSCSI挂载卷，数据预先压缩
- 虽然数据被存储在S3中，但是不能用其他方式访问，仅仅能通过Storage Gateway 访问
- 支持SSE-S3数据加密存储和 SSL加密传输
- 支持对网关卷进行EBS快照，快照恢复为AWS Storage Gateway 或者 EBS 卷
- 快照计划可以是每1、2、4、8、 12 和 24小时

网关缓存卷（Gateway-Cache）
- 将本地容量扩展到S3，所有存储在网关缓存卷的数据都被转移到S3，热数据会驻留在本地存储中提供低延迟访问
- 每个卷最大容量32TB，但每个网关最大支持32个卷，即最大容量是1PB
- 采取时间点快照进行增量备份

网关存储卷（Gateway-Stored）
- 利用iSCSI挂载卷，数据预先压缩
- 数据存储都存储在本地，并异步备份到S3，可以提供低延迟访问所有数据，将S3作为持久性异地备份
- 单卷最大支持16TB，每网关32个卷，即512TB
- 数据使用EBS快照进行增量备份存储在S3中，可以从Gateway-Stored备份创建EBS卷进行恢复