亚马逊云科技-Redshift Serverless新范式
创始人
2025-07-20 14:02:00
0

关键字: [亚马逊云科技, Redshift Serverless, 亚马逊云科技, Redshift Serverless, 数据分析灵活性, 效率优化, 计算资源动态调整]

导读

在这场演讲中,演讲者介绍了亚马逊云科技的Redshift Serverless新服务。Redshift Serverless继承了传统Redshift数据仓库的性能和功能,但在用户体验上有了显著提升。它采用了Namespace、Workgroup和RPU的新概念,无需管理节点大小和数量,并且可以无缝升级版本。演讲者还分享了两个客户案例,展示了Redshift Serverless如何解决多源数据整合和数据存储管理的难题。最后,演讲者介绍了两个最佳实践,即如何自动监控和优化查询性能瓶颈,以及如何动态调整RPU数量以实现最佳利用率。Redshift Serverless重新定义了数据分析的灵活性和效率。

演讲精华

以下是小编为您整理的本次演讲的精华。

亚马逊云科技中国区技术支持工程师在此次演讲中分享了关于Redshift Serverless的内容,主题为“Redshift Serverless重新定义数据分析的灵活性与效率”。他将演讲分为三个部分:Redshift Serverless服务介绍、用户案例分享以及两个最佳实践。

第一部分是Redshift Serverless服务介绍。演讲者首先概述了亚马逊云科技中与数据相关的服务,可分为收集、存储和分析三个部分,其中Redshift定位于分析这一块,旨在为客户提供数据分析决策支持。接着,他回顾了Redshift传统数据仓库所支持的功能,包括多种实例类型选择,从RA3的xlarge值一直到RA3的16xlarge值,这些不同的节点都有它们分别的vCPU、核数、内存,以及存储的上限。在选择数据仓库时,由于是由多个节点构成,客户可以灵活选择节点类型,不同节点有不同价格,从而实现精细的性价比控制。并且随着使用,可以从两个节点扩容到四个节点,当然也可以扩容到更多节点或收缩。

其次,Redshift支持不同的查询队列。这意味着,假设有多个业务部门同时使用同一个数据仓库,可能会出现一种情况,一个业务部门带来的都是大型且复杂的查询,另一个业务部门带来的都是小型但要求迅速出结果的查询。如果没有队列设置,可能会出现一个大型查询占据大量资源造成后面查询阻塞的情况。因此,Redshift提供了队列概念,可以将不同业务部门或用户的查询分入不同队列,并限定每个队列的资源上限。

最后,Redshift还可以随时暂停和恢复集群,因为集群是根据节点运行时间计费,在不使用时可暂停并停止计费,恢复使用时再开始计费,实现了精细的性价比控制。

然而,Redshift Serverless在传承了传统Redshift所有性能和功能的基础上,还提供了更好的用户体验支持。Redshift Serverless中有三个重要概念:Namespace、Workgroup和RPU(Redshift处理单元)。Namespace没有大小限制,可以存储任意数量数据,解决了传统集群存储上限的问题;Workgroup用于配置连接和安全设置,如VPC、安全组、端口等;RPU则替代了节点类型,每个RPU对应16GB内存,更加灵活。

更重要的是,Redshift Serverless提供了AI动态计算功能,可以根据查询自动调整RPU数量,最大化性价比或性能,无需人工干预。它采用了5个档位,分别对应最佳性价比到最佳性能,客户只需规定一个最大RPU数量,Redshift就会在这个范围内灵活调配。它还采用按查询运行时长计费的模式,更加精细高效。举例来说,如果从2点到2点15分,集群上一共有5个查询在运行,它们之间有重叠和间隔,实际收费时长并不是15分钟,而是从2点到2点03分,加上2点07分到2点08分,再加上2点12分到2点13分,只有这短暂的几分钟费用。

相比之下,传统预制集群需要管理节点大小和数量,还需要规定维护窗口进行版本升级,给客户带来了额外的运维负担。

第二部分是两个用户案例分享。第一个案例是一个电商零售平台,他们遇到的问题是需要将多种数据源整合到Redshift Serverless集群中,后接BI决策工具。这些数据源包括RDS(通过肌肉ETL功能实时复制数据)、S3(外部表直接查询)、MSK(亚马逊云科技的流数据服务)、Kinesis(亚马逊云科技的流数据服务)以及其他业务来源(通过数据管道导入)。通过这一架构,客户成功解决了多源数据接入和整合的难题,在BI工具中可随意查询不同业务数据,为决策提供了支持。

第二个案例是一家药企,他们有两个需求:一是将RDS中实时业务数据放到分析平台,二是只在RDS保留30天内的数据,超过30天的数据称为冷数据需要迁移出去。为此,他们通过定期从RDS迁移数据到Serverless并清理RDS中冷数据的方式,成功解决了这两个难题。之所以选择Serverless,是因为相比传统数据仓库,Serverless通过RPU替代了节点类型,更加灵活高效,能够应对不断增长的数据量。传统数据仓库的不同节点类型在CPU和内存上都有限制,如RA3的xlarge节点只有1个vCPU和16GB内存。

第三部分是两个最佳实践。第一个是如何自动监控和优化查询性能瓶颈。随着数据量和业务量的增加,查询性能可能会出现瓶颈,响应时间变长。为了自动化检测和优化这一过程,他们通过CloudWatch监控CPU利用率、查询成功率(QUERIES_SUCCEEDED每秒成功查询数量)、查询失败率(QUERIES_FAILED每秒失败查询数量)、查询耗时(QUERY_DURATION平均查询时长)等指标,当异常时触发SNS(简单通知服务)警报,接着Lambda自动kill锁和重复查询,并结合Redshift Advisor的优化建议自动优化表设计,从而实现了自动化的性能优化。Redshift Advisor可以监控表的设计是否合理,如查询是否落在分区键和排序键上,并给出ALTER TABLE语句的优化建议。Lambda会直接连接到Redshift Serverless执行查询和优化操作,所有操作都记录在日志中。

第二个最佳实践是如何动态调整RPU数量。由于业务发展,RPU数量的设置可能会过多或过少,不合理的设置会影响性价比。为此,他们通过监控CloudWatch中RPU利用率指标,当长期低于设置的最大RPU值或一直使用到最大值时,就会触发SNS警报,接着Lambda自动调整Serverless中的最大RPU数量,以保持最佳利用率。

通过这两个最佳实践,客户能够自动化地优化查询性能,并动态调整计算资源,充分发挥Redshift Serverless的灵活性和高效性。

总的来说,Redshift Serverless作为一个数据仓库平台,相比传统Redshift在灵活性和效率方面有了重大提升,真正重新定义了数据分析体验。它无需管理节点和规定维护窗口,提供了AI动态计算和按需付费等新功能,并通过案例和最佳实践展示了在多源数据整合、动态资源调度和自动化运维优化等方面的实际应用,被认为重新定义了数据分析的灵活性与效率。

总结

亚马逊云科技的 Redshift Serverless 为数据分析带来了全新的灵活性和效率。这种无服务器架构继承了 Redshift 传统数据仓库的性能和功能,同时提供了更优越的用户体验。它引入了 Namespace、Workgroup 和 RPU 等新概念,消除了对节点大小和数量的管理需求,并通过 AI 动态计算实现了自动资源调配。此外,Redshift Serverless 采用按查询运行时长付费的模式,大幅提高了成本效率。

通过两个真实案例,演讲者展示了 Redshift Serverless 如何解决客户在多源数据整合和数据存储管理方面的挑战。最后,他分享了两个最佳实践,介绍了如何利用 CloudWatch 指标、系统视图和 Redshift Advisor 等工具,实现查询性能瓶颈的自动监控和优化,以及动态调整 RPU 数量以保持最佳利用率。总的来说,Redshift Serverless 重新定义了数据分析的灵活性和效率,为客户带来了前所未有的便利性和价值。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。

相关内容

热门资讯

一分钟了解!🧨新明珠大厅房卡... 一分钟了解!🧨新明珠大厅房卡去哪里充值!🧨详细房卡教程 无需打开直接搜索微信【215338558】房...
我来讲解新西部有辅助挂吗?🧈... 咨询软件添加微信【215338558】 我来讲解新西部有辅助挂吗?🧈🌴🌿真的确实有挂✨ 《中央日报》...
揭秘🍀微信链接超级三加一房卡... 揭秘🍀微信链接超级三加一房卡哪里买,网页链接平台 加:微(215338558)炸 金 花链接房卡链接...
揭秘✨微信链接扎金花房卡哪里... 新道游反杀挂大厅房卡咨询微信号:【215338558】无需打开、直接添加1.添加微信号:【21533...
关于)新荣耀房卡怎么代理♥房... 关于)新荣耀房卡怎么代理♥房卡联系客服 咨询房卡加微号:215338558 领优惠卡 信仰推荐“新...
科普💦代理卡贝大厅链接😍原来... 科普💦代理卡贝大厅链接😍原来这么便宜 买挂去哪个网站【添加微信:215338558】 科普💦代理卡贝...
发现🍀长虹大厅房卡在哪可以买... 发现🍀长虹大厅房卡在哪可以买到-♥-♥-♥-如何获取房卡 加:微(215338558)炸 金 花链接...
今日房卡通报🥤盟友互娱透视脚... 今日房卡通报🥤盟友互娱透视脚本;其实确实有挂 加:微(215338558)炸 金 花链接房卡链接—房...
终于知道游戏房卡哪里买😍代理... 咨询软件添加微信【215338558】 终于知道游戏房卡哪里买😍代理充值房卡 《中央日报》网站8月1...
10万人!特朗普给钱后,美执法... 特朗普曾为追求所谓“边境安全”举措,在给钱后,美执法机构竟开启了抢建移民监狱的行动。这一行为引发广泛...