在云栖,一场关于数据洞察的创新实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。阿里云将携手广大开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。

2023 年 11 月 2 日,是为期三天的云栖大会的最后一天。但对于开发者谭耀华来说,则是他和他的战队一举夺得了智能运维赛一等奖和智能创作赛二等奖的第一天。

本届云栖大会上有一个关键词被反复提起:开发者。阿里云 CTO 周靖人认为,大模型目前还在演进的初级阶段。是否要自己开发、要使用何种模型,都应该由效果决定。应该站在开发者视角,给开发者工具和选择,让他们自己去选型。


而由阿里云主办,阿里云天池平台联合阿里云存储团队承办的首届数据洞察创新挑战赛,正是一场面向广大开发者的技术竞赛。经过近半年的激烈角逐,共有 10 支队伍从 5000 多支队伍中冲出重围,来到了云栖的决赛现场。

颁奖照片


代码成就万世基积沙镇海,梦想永在凌云意意气风发。对于开发者而言,数据洞察创新挑战赛不仅提供了一个展示自己技术和智慧的平台,也为 AIGC、 AIOps 领域的创新和发展提供了新的思路和方向。


一、“AI+创作”——用影像讲故事,让照片有温度


AIGC 代表着 AI 技术从感知、理解世界到生成、创造世界的跃迁,正推动人工智能迎来智能创作时代。近几年,文生文、文生图、文生视频/图生视频并行发展,这显然离不开背后的大模型。值得一提的是,大模型显著降低了开发者门槛,阿里云基础产品事业部负责人小邪坚信,有了广大开发者的支持,阿里云才能构建更为完善、完整的技术产品生态。

智能创作赛的选手依托于网盘与相册服务 PDS 技术能力,对相册中的图片进行“归纳总结”,并利用当前主流的 AIGC 技术做图片风格迁移、人像风格迁移,图像编辑等,生成了油画风、铅笔风等风格的“回忆故事”相册集和视频,展示出了数据与艺术的结合之美。


智能创作赛冠军团队“毛咕咕爱照相”的参赛选手樊雄杭,职业是一名金融风控算法工程师,同时也是一名摄影爱好者,他笑言自己是一个参加天池算法大赛 20 余次的拍照爱好者。在复赛过程中,他不仅充分发挥了一名摄影是对照片的美学理解,同时还借助图生文模型、图片质量评价模型、文本向量化模型、层次聚类算法等手段,最终实现了图片的风格迁移、标题生成、配乐类型选取以及视频的自动化生成。

而来自上海理工大学的数据新生队的熊成在参赛过程中,使用 AIGC 技术中的StableDiffusion 结合 ControlNet 实现根据用户需要可自定义进行图像风格编辑;并利用 BLIP 模型识别多图像语义并以此判断图像情感,确定需要的配乐;同时还利用图像文本结合 GPT2 实现故事扩写,并添加在相册视频中。


决赛评委代表、阿里云资深技术专家李文兆评价道,通过参赛作品的呈现,主办方看到了开发者在问题的理解、解决方案设计和实现过程中展现出的能力和创新思维。选手们不仅能够熟练运用数据分析和机器学习算法,还能结合自身的经验和专业知识对阿里云存储产品和服务加以利用,提出了优秀的解决方案。

二、“AI+运维”——自动定位故障,为“攻城狮”提效


随着业务走上云端,运维也逐步“云化”,基于微服务的架构在业务开发中扮演越来越重要的作用。在微服务系统中,业务请求(RPC)的整体延时、是否成功等和依赖的微服务调用息息相关。当线上发生业务请求变慢、失败时,工程师往往需要在各个调用节点中找到关键的节点和原因,并进行排除。


浙大观测云联合实验室团队认为,在当今信息技术领域,云原生和微服务架构成为主要趋势,提供了灵活性和可伸缩性,但随着微服务系统扩展,维护和故障排查变得复杂。多个微服务、分布式环境中的业务请求增加了故障排查难度。基于这样的实际情况,该团队提出了一种基于统计的自动故障定位算法,旨在通过数据分析和算法来自动定位产生慢请求的根本原因。该方法包括采样、预处理、统计和根因分析四个步骤,队员们详细探讨了不同的异常检测算法,其中 boxplot 算法表现出较高的性能。

来自中山大学的战队——一个队伍,在智能运维领域深耕多年,算法成果在合作企业中落地。为了对高延时 Trace 数据和错误的 Trace 进行诊断,得到对应的根因,设计了面向溯因的监控数据解析、基于分层建模的异常检测、根因定位、基于指标与追踪数据协同分析的蜕变测试反馈的流程,剖析并处理了根因定位的溯因挑战、建模挑战、反馈挑战。


阿里云资深技术专家、阿里云日志服务技术负责人简志表示,通过多维观测数据链路Trace、时序指标 Metric、日志明细 Log 进行有机融合构建体系化观测体系,同时提供丰富的业务应用视角的观测手段(包括依赖分析、性能剖析、故障排错及根因定位),实现从被动感知到主动观测的转变至关重要。

数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。通过此次大赛,我们看到了参赛选手们的才华和创造力,也看到了数据洞察在各个领域的应用潜力。未来,阿里云将携手开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。


附:数据洞察创新挑战赛获奖名单

智能运维赛:

一等奖:皮卡丘的皮卡

二等奖:一个队伍、浙大观测云联合实验室

三等奖:hoarz、合理想象队、畅捷数智队


智能创作赛:

一等奖:毛咕咕爱照相

二等奖:皮卡丘的皮卡、勇敢牛牛不怕困难

三等奖:数据新生、竞逐队、畅捷数智队

相关文章
|
8月前
|
存储 人工智能 运维
“数据洞察创新挑战赛”专题征文活动
9月8日,大赛正式进入复赛阶段,一场全新的挑战也即将开始。相信,在这个过程中,每一位参赛者都会有自己的一些心得体会,现在,我们邀请你来分享你的参赛心得,将自己的技术见解、亲身体会分享给更多志同道合的伙伴吧。
1107 3
“数据洞察创新挑战赛”专题征文活动
|
11月前
|
存储 运维 监控
聚焦应用创新|阿里云首届数据洞察创新挑战赛正式启动
首届数据洞察创新挑战赛正式启动!本届大赛奖金池高达 20 万元,是由阿里云主办的面向广大开发者的技术竞赛,大赛将在阿里云天池平台上举办,旨在鼓励开发者利用阿里云存储产品和服务,通过“智能运维赛”和“数据管理创新赛”两个赛道,开发出创新的应用和解决方案,展示技术实力和创意思维,为行业发展和社会进步贡献力量。
509 1
|
存储 运维 分布式计算
|
边缘计算 人工智能 Cloud Native
聚焦2022阿里云直播峰会,洞察直播技术创新应用未来
7月8日,2022阿里云直播峰会正式拉开帷幕,汇集多位直播产业领域技术专家与行业先行者,共同探讨直播技术的演进趋势,展望直播产业发展与未来。
757 0
聚焦2022阿里云直播峰会,洞察直播技术创新应用未来
|
机器学习/深度学习 分布式计算 负载均衡
大数据SaaS应用落地经验分享
在过去几年中,我们自己开发的大数据SaaS应用大数据实验室采用混合云体系结构在全国各地进行了几十次部署。在实际使用过程中,遇上了非常多的问题。本文主要分享在实际软件开发和维护过程中遇上的各种问题和解决方案分享。
726 0
大数据SaaS应用落地经验分享
|
存储 消息中间件 分布式计算
小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MC-Hologres的合作。
9872 0
小红书推荐大数据在阿里云上的实践
|
人工智能 大数据 双11
大数据专家在线
感谢您关注阿里云智能大数据&AI产品双11活动!
1933 1
大数据专家在线
|
存储 数据采集 分布式计算
连载:阿里巴巴大数据实践—实时技术
相对于离线批处理技术,流式实时处理技术作为一个非常重要的技术补充,在阿里巴巴集团内被广泛使用。
4047 0
连载:阿里巴巴大数据实践—实时技术
|
人工智能 边缘计算 数据挖掘
阿里数据:2020七大数据技术领域趋势展望
2020年,每一个技术领域,也有自己的一个关键事件回顾或一个关键节点畅想。回望过去,在数据技术领域发生了许多有意义的标志性事件。全球数据量在2019达41ZB,2020年预估到50ZB,这是国际权威机构Statista的统计和预测,这个数据量可以说大得惊人,也对数据技术提出了更高的要求。
1622 0
阿里数据:2020七大数据技术领域趋势展望
http://www.vxiaotou.com