Serverless数据仓库实践,助力企业敏捷数据分析

本文涉及的产品
简介: 敏捷云原生数据仓库架构传统的云数据仓库需要用户购买一个预置的数据资源进行7*24的长时间运行;这种方式对于当下崇尚敏捷创业者来说使用负担较大,对于探索类或成长型业务缺少灵活的使用模式以满足低成本数据分析诉求;随着这个问题被越来越多的企业关注,Serverless的使用方式开始逐渐被各大厂商提及,Big?Query,?Snowflake,Redshift等都进行了类似的布局,而国内的数仓产品还处于探

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

敏捷云原生数据仓库架构

传统的云数据仓库需要用户购买一个预置的数据资源进行7*24的长时间运行;这种方式对于当下崇尚敏捷创业者来说使用负担较大,对于探索类或成长型业务缺少灵活的使用模式以满足低成本数据分析诉求;

随着这个问题被越来越多的企业关注,Serverless的使用方式开始逐渐被各大厂商提及,Big Query, Snowflake,Redshift等都进行了类似的布局,而国内的数仓产品还处于探索阶段,对于基于计算资源以满足仓内分析的安量付费模式还没有被创业者所看见; 

阿里云AnalyticDB PostgreSQL在2022底发布了其Serverless数据仓库引擎,它能帮助企业构建更加现代的数据策略; 在开通后仅需完成数据载入后即可立即开始分析,Serverless版本仅在分析执行时对使用中的计算资源计费,计算空闲时则免费,这可以大幅降低企业数据使用负担;该版本对于当下考虑构建全系企业的数据架构或想在不破坏当前架构下,探索创新业务时,均可提供高效且轻量的数据架构服务; 可在几分钟~小时内,帮助企业进行低成本探索;

用户可以开通一个Serverless的自动调度实例, 创建时进行分析计算资源(ACU Analytic Compute Unit)阈值设定,该阈值对该实例在计算触发时的计算资源上限进行限制,当计算发生时,系统会快速响应对应的资源来以满足用户的计算需求; 用户可以在控制台实时查看当前的计算资源(ACU)的实时使用情况。限制瞬时的资源使用上限,这可以更好的保障资源的财务可控; 当然这个可以根据不同的时刻对于资源的需求不同进行手动调整; 

创建Serverless实例

接下来我们可以快速创建一个Demo来让大家更好的了解Serverless自动版的使用方式; 

首先免费创建Serverless自动调度版本的实例,用户可以在按量付费下,选择Serverless,并在模式中选择自动调度版本进行创建;目前Serverless自动调度版本正在免费测试中,计算资源免费,存储价格为0.0008元/GB/小时(以北京地区为例);

创建后,来到实例控制台,在这里可以管理刚刚创建的实例; 

可以看到实例在创建后,没有SQL计算的使用情况下,实例会处于一个空闲的状态,在这个状态下的计算是不会进行任何计费的; 

接下来我们来用提前加载好的样本数据进行测试用例的使用; 

  1. 加载样本数据数据集,可在控制台选择加载样本数据集,并查看配套的样本SQL;

  1. 登录数据库后,在对应的实例分析界面上可以执行样本SQL; 

  1. 对于实例资源的使用情况,可以回到实例详情页并在监控中进行查看; 

  1. 若发现算力不匹配或希望更快的资源释放时间,用户可以手动进行实例资源的阈值和冷却时间调整; 通过调整,可以改变在计算时需要介入的瞬时计算资源以及在SQL计算结束后,进入空闲状态的等待市场; 目前最少为60秒; 

Serverless的三种推荐场景

1. 搭建敏捷分析平台,灵活支持数据湖分析,联邦分析;

海量数据存储在数据湖中,如OSS, ODPS等环境; 持续的分析并不是一个常态,对于业务需求我们将需要面向数据湖进行小额数据采样的分析;这个时候,无需繁重的IT规划,用户可以依托ADB PG的Serverless可以快速拉起起一个轻量级的数据分析框架并支持业务并完成一个最具性价比的分析服务;

  1. ADB PostgreSQL的数据湖分析 
  1. 面向Hadoop的数据分析:  https://help.aliyun.com/document_detail/181346.html
  1. ADB PostgreSQL的数据库联邦分析
    1. 面向主流数据库的联邦分析:  https://help.aliyun.com/document_detail/183722.html

2. 构建读写分立架构

稳定的数据业务更适合使用包年包月的购买模式,因为业务可以精确预期并相对稳定,通过包年包月的购买模式可以获得较大的折扣从而实现最优的财务选择;但是对于分析业务,它更多是以短期的业务目标作为驱动,是探索性的数据使用,具备高度紧急,不确定性强,短期时效性高等特征;业务侧需求和技术架构团队的稳定性存在局部矛盾,这时,最佳的分析路径是通过快速构建物理隔离的灵活分析架构; 

当分析介入后,可以快速通过数据共享能力对现有实例进行数据联通,同时可以实现灵活的数据分析能力;同时如果分析需求过多,可以也可以开放多个资源实例来帮助用户满足分析能力的资源;

高性价比数据归档

生产库产生的低频分析的数据一定要放到数据湖里? Serverless提供了一个新的方案;可以通过DMS自带的数据归档能力,将生产库中无用或者低频分析用的数据进行归档,并廉价存储;这个方案有几个好处; 

  1. 可以白屏化的批量构建数据归档及设置白屏化 
  2. 仅在归档的过程中进行资源启动,当数据归档后则仅需要付低价的存储用以保留;
  3. 归档的数据可以随时启动分析,仅对分析的时间进行资源收费;

具体操作可以参考: /article/1044443?

结语

对于serverless,我们看到了行业的头部厂商均已入局,更精细的按需使用和财务管理开始在国际的头部厂商中获得了越来越多的实践。将复杂留给厂商,将简单留给客户依然是云厂商始终坚持的原则;Serverless在海外也成为了更加灵活,易用的代名词;  

ADB PostgreSQL作为分析型数据仓库,是国内该领域的探索者; 目前ADB PG产品是首个获得了信通院的Serverless分析型数据库,“增强级”的评级,产品开放了公测版本试用,欢迎各位尝试并提供宝贵意见,一起为企业提供更易用,更灵活,更高性价比的云数据仓库服务。

相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
4天前
|
人工智能 NoSQL Serverless
基于函数计算3.0 Stable Diffusion Serverless API 的AI艺术字头像生成应用搭建与实践的报告
本文主要分享了自己基于函数计算3.0 Stable Diffusion Serverless API 的AI艺术字头像生成应用搭建与实践的报告
487 6
基于函数计算3.0 Stable Diffusion Serverless API 的AI艺术字头像生成应用搭建与实践的报告
|
6月前
|
数据挖掘
82 网站点击流数据分析案例(数据仓库设计)
82 网站点击流数据分析案例(数据仓库设计)
59 0
|
7月前
|
存储 安全 网络安全
数据仓库的五个优秀实践
数据仓库的五个优秀实践
|
4天前
|
SQL 大数据 BI
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
|
4天前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
316 0
|
4天前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175349 348
|
4天前
|
运维 中间件 Java
淘宝权益玩法平台的Serverless化实践
淘宝权益玩法平台的Serverless化实践
232 0
|
4天前
|
SQL 弹性计算 运维
畅捷通的 Serverless 探索实践之路
畅捷通的 Serverless 探索实践之路
|
5月前
|
SQL 弹性计算 运维
畅捷通的 Serverless 探索实践之路
畅捷通非 Serverless 架构向 Serverless 架构转型,提高了5个核心运行稳定性,同时管理简化运维工作,真正的提升系统资源利用率。
128891 1
畅捷通的 Serverless 探索实践之路
|
7月前
|
人工智能 运维 Serverless
基于函数计算模板部署AI应用实践
在本实验场景中,将向大家介绍如何基于阿里云函数计算FC服务部署Stable Diffusion实现文字到图片的生成;以及部署ImageAI 目标检测应用,对现有图片内容进行检测。

热门文章

最新文章

相关产品

  • 函数计算
  • http://www.vxiaotou.com