亚马逊
亚马逊云基础架构 16 年创新史
2023-11-19 11:05

亚马逊云基础架构 16 年创新史

2018 年,亚马逊云科技推出了基于 Arm 的定制芯片 。据相关数据显示,基于 Arm 的 的性价比比基于 x86 的同类实例高 40%。这打破了对 x86 的依赖,开启了架构的新时代,现在亚马逊已经能够以多种配置支持密集型计算任务。这些举措为亚马逊云科技的其它创新奠定了基础,包括针对从训练到推理环节的机器学习和人工智能任务进行了优化。

自推出 Nitro 系统之后,EC2 实例也快速增加,现在 Amazon EC2 已经拥有超过 475 个实例。计算方式也不断更新,从 EC2 实例开始,逐渐支持容器和无服务器。一般云平台只提供 托管,亚马逊云科技提供了 EKS(托管 服务)、 ECS(自研)和 Fargate 三种容器管理工具。Amazon Lambda 也开创了无服务器计算时代,无服务器计算是一种按需提供后端服务的方法。无服务器提供者允许用户编写和部署代码,而不必担心底层基础设施。

存储

2006 年,亚马逊云科技推出了 S3 (Simple Storage Service) 服务,S3 定义了对象存储,是对象存储事实上的标准,具有划时代的意义。

S3 的推出时间实际上比 EC2 还早 6 个月,最初设计时的一个重要原则就是“简单”,所以当时只提供了 和 功能,核心 API 只有四个 REST 命令(GET、PUT、LIST 和 DELETE)。Werner Vogels 和亚马逊前技术副总裁 Tom 在谈到 S3 的发展时,两人认为“‘尽可能的简单’是 S3 成功的关键之一,虽然这在当时颇具争议,但一个可进化的架构一开始不可能被设计得很复杂。”

开始时用户主要是用 S3 存储图像和视频数据,但随着时间的推移,越来越多的事务日志、parquet 文件、客户服务记录等数据被放进了 S3。然后用户想要的就不仅仅是“弹性存储”和“低成本”了,他们还希望能够让数百个应用程序使用这些共享数据集,于是亚马逊就添加了“Access Points”功能。这个过程足以说明 S3 的演进原则:用户希望用他们的数据来做什么,亚马逊云科技就添加什么功能或服务。通过技术和商业的服务,亚马逊云科技与用户建立了一个快速的反馈循环,成为一个快速成长的飞轮。

2006 年的时候,S3 只有 8 个服务(),到 2019 年,S3 已经拥有 262 个了。而且亚马逊致力让 S3 拥有更高性能、更低成本,推出了七种不同层次的存储产品:、 Tiering、 Access、One-Zone Access、 Glacier、Glacier Deep Archive,以及 S3 Tiering。S3 Tiering(智能分层)产品又分为“频繁访问”和“非频繁访问”两个层级,会自动将连续 30 天未访问的对象移动到“非频繁访问”层,降低了运营复杂度。2021 年,智能分层也从 2 个层级增加到了 3 个层级,添加了新推出的归档即时访问层亚马逊aws云服务分析,最经典的存储仍在不断进化。

S3 存储本身具备了计算存储分离的特性,在云原生时代,非常适合作为数据湖存储的核心。企业可以基于 Amazon S3 构建数据湖,同时利用原生 Amazon Web 服务,来运行人工智能或机器学习服务(),从而可以更高效地处理各种结构化和非结构化数据。

S3 持久性设计为“11 个 9”(99.%) ,意味着使用 Amazon S3 存储 个对象,则预期平均每 10000 年发生一次对象丢失。今年,亚马逊宣布 S3 存储的对象数量已经超过 200 万亿,每秒需要处理数千万个请求。如今,S3 已经演变为了庞大而健壮的分布式存储系统,为保持数据持久性,亚马逊于去年底宣布升级了 S3 的存储后端系统 ,引入了“自动推理”方法,以保证“崩溃一致性”,即系统崩溃时数据仍能保持“11 个 9”的一致性状态。

实现比较复杂,包含超过 4 万行 rust 代码,使用 soft update 提供崩溃一致性,传统的验证方法速度无法跟上系统的开发迭代速度。亚马逊采用了轻量级形式化方法( formal methods)提高 的可靠性,自动生成一系列的操作调用键值存储系统的接口,同时检查操作过程中参考模型和 具体实现之间的行为和状态是否一致。基于上述方法,亚马逊成功在 找到并修复了 16 个重要的问题,涉及崩溃一致性和并发等方面的错误。亚马逊云科技还在 SOSP 大会上发表了一篇相关论文,并获得了最佳论文奖。

网络

网络是云计算业务最基础的支撑之一,亚马逊云科技拥有规模最大的全球骨干网络,现有 25 个区域,81 个可用区,14 个 Local Zone,17 个 Zone,超过 300 个边缘站点,以及 108 个专线接入点。这些都是在 2006 年单一扁平子网的基础上,历经 16 年的不断创新和优化发展而来。

在全球化浪潮下,不少大型跨国企业会在全球设置多个站点,在构建全球化网络时,亚马逊云科技的用户可以利用 Amazon VPC 创建多个虚拟网络。传统的做法是利用 VPC Peering 功能,将区域内或者跨区域之间的 VPC 进行连接,利用 Direct Connect 或 VPN 实现非亚马逊云科技基础设施与亚马逊云科技的互联。但如果云上负载增多,管理工作将成倍增加,这时就可以采用集中管理链接的方案,亚马逊在 2018 年 Re:Invent 推出了 Amazon Transit Gateway。使用 Amazon Transit Gateway,可显著简化管理并降低运营成本,因为每个网络只需连接到 Transit Gateway,而不是连接到所有其他网络。

当网络在全球范围内延伸并且还需要混合各种技术时,企业构建、管理和监控它们的复杂度也会明显增加。在 2021 年 re:Invent 大会上亚马逊云基础架构 16 年创新史,亚马逊云科技宣布了 Cloud WAN 全球网络托管服务。借助这项网络服务,企业可以借助于亚马逊的骨干网,使用 Cloud WAN 图形界面一键创建属于自己的全球网,实现设置中转网关或云连接,监控网络运行状况、安全性和性能等功能。

来源:https :///cloud-wan/

在 2021 年的 re:Invent 大会的主题演讲和博客文章中,Werner Vogels 还提到了亚马逊对“无处不在的云(the cloud)”的愿景,即通过有针对性的硬件和解决方案将亚马逊云科技带到新的地区。

Werner Vogels 在博客中写道:“我们将在 2022 年见证转变:云将在边缘上变得高度专业化。我们会为边缘提供量身定制的解决方案,那么无论是车间、餐厅、零售小店或偏远地区,都可以充分发挥云的优势。”

安全

没有安全这个保障,云的一切优势都将无从谈起。随着上百万的组织迁入云中,数据、流量更为集中,云早已成为安全攻防的主战场。

作为云计算的先驱,亚马逊首创的“安全责任共担模型”已经是云安全联盟中大家公认的事实上的行业标准,这个模型明确了云厂商和租户的安全边界,也明确了云厂商内部的安全责任。今年,亚马逊云科技再次提出了五层“洋葱型防护方法论”:威胁检测与事件响应、身份认证与访问控制、网络与基础设施安全、数据保护与隐私、风险管控及合规。在 280 多项安全、合规服务及功能基础上,亚马逊云科技利用这五层防护体系,为客户提供全方位的安全服务。

可持续发展

联合国于 2015 年制定了一个全球框架《巴黎协定》,随后各缔约国纷纷制定了“碳中和”路径和目标,对地球环境的健康发展做出承诺。埃森哲的分析表明,倘若采用绿色方法迁移至公有云hao123,全球二氧化碳排放量每年可减少 5,900 万吨,这相当于动动手指就能减少 2,200 万辆汽车的碳排放量!

亚马逊作为世界级科技巨头亚马逊aws云服务分析,引领了“绿色云”改造。亚马逊表示将提前十年达成《巴黎协定》,并在 2025 年实现 100% 可再生能源,而且还设计了一套从基础设施到软件设计的具有前瞻性的解决方案。这些举措也取得了显著的成果,2021 年,亚马逊云科技可持续发展架构副总裁 Adrian 表示:亚马逊云科技的基础设施能源效率比普通美国企业数据中心高出 3.6 倍。同时,亚马逊在执行相同任务时,可以减少 88% 的碳足迹。

重构云底座:面向客户和未来进行创新

诞生于 16 年前的亚马逊云科技,开创了一个全新的云计算领域,亚马逊的创新可以说对 IT 产业演进产生了革命性的影响。

虽然如今各云厂商竞争激烈,但亚马逊云科技却始终能处于市场的领先位置。据相关数据显示,亚马逊云科技在云基础设施服务提供商中的份额最大,为 33%,客户也早已超过百万,无论是技术巨头、银行还是政府,不同的组织都在使用 Amazon Web 来开发和部署自己的应用程序。

早期的典型用户有 Netflix,从 2009 年就开始采用 Amazon Web ,2015 年中 Netflix 关闭了自己的最后一个数据中心。纳斯达克从 2014 年就开始使用 Amazon Web 在云中存储股票交易所数据,今年再次增加了边缘解决方案的使用,将 Markets 逐步开始迁移到亚马逊云服务上。NASA 于 2000 年开始,利用 Amazon Web 服务,提供对照片、视频和音频的在线访问,上周,NASA 再次宣布采用亚马逊云服务为空间站构建“太空物流”基础设施体系…

这样的成绩归功于亚马逊不断地围绕客户业务进行技术创新,有业界专家认为,亚马逊云科技的一大亮点是能非常敏感地发现用户当前紧迫面临的是什么问题,并快速提供解决方案或者产品。这也像 Dave Brown 所说的:“我们可以应对几乎所有需求以及挑战,并且永远不会对客户说不。在亚马逊云科技,我们拥有‘顾客至尚’的文化,不仅满足他们当前需求,而且会预测他们未来的需求。”以客户为中心,不断进行创新,这也正是“第一天(Day one)”理念的一种体现。

面向未来的发展过程中,亚马逊云科技在这 16 年当中无疑有很多技术理念和决策经验值得我们借鉴和思考。

2022 年 4 月 20 日,亚马逊云科技将在线召开 创新大会,这也是亚马逊首个专门针对云基础架构的技术大会,设置 6 大分会场、30+ 前沿技术主题,将更全面、更详细地分享亚马逊云科技的底层创新,解读不同业务场景的应用,帮助您构建数据驱动型企业!

参考链接:

点个在看少个 bug

【本文来源于互联网转载,如侵犯您的权益或不适传播,请邮件通知我们删除】

发表评论
0评