《Apache Flink 案例集（2022版）》——2.数据分析——网易互娱-基于Flink 的支付环境全关联分析实践（上） /article/1228390
平台建设
经过深刻的调研和尝试之后，网易互娱最终选择了 Flink作为业务实时化的框架，并基于Flink搭建实时计算的一站式平台。
上图是平台的技术架构图，它配套了 Nexus、HDFS 等大数据组件来作为基础设施，维护了版本化的软件仓库，里面托管了包括 SDK 以及其他业务 jar 包。运行层面，Flink 使用了 k8s 独立集群的理念，即每一个作业都运行在自己独立的 k8s 命名空间下，拥有自己的资源配套以及依赖集合，实现了业务作业的完全隔离运行以及资源的精细化调配。
为跟踪业务的迭代、作业的运行以及日志集分析等等的平台化功能，JFlink 平台还封装好了各种运维接口，通过无状态的 rest 服务节点对外提供。平台还为运维人员提供了可视化创建实时作业的功能，这也正是平台与 SDK 相互配合而产生的优秀成果。
在一站式平台上，用户可以监视自己的作业实时状态，查阅运行日志，回滚历史版本，甚至可以查阅历史的异常、记录与统计、风险控制、生命周期的详细管理。
除了上述提到的能力之外，网易互娱的一站式平台上还有很多其他功能，所有的功能与 SDK 相互配合共同组成了网易互娱的实时计算体系。
业务场景和收益
此前 T+1 的形式展示数据报表，时效性比较低。将报表升级改造和实时化之后，现在已经可以通过接口的形式做到即时查询。而这种时效性的提升使得产品可以去做精细化的运营，更及时地响应营销需求，进而提升收益。
实时用户数仓和实时数仓指标为产品提供了玩家级的微观查询和报表级的宏观查询。这些用户数据可以对接到可视化工具，通过数据可视化直观地进行展示，让产品运营可以发现从数字中无法发现的规律，进一步挖掘出其中的数据价值。
在此基础之上，网易互娱通过在一笔链路、一个用户的层次上将整个支付环境上的各种数据都关联起来，形成了全关联分析框架，实现支付环境的宏观监控。
这种全关联分析框架可以处理近十种异构源的数据、关联分析出几十种情况的业务场景会话。基于关联分析的能力做出的许多支付环境上的实时报表可以协助运营修复问题，指导产品制定策略，最终提升收益。
整体来看，数据业务实时化之后带来的资源能效和数据能效的提升有目共睹，而高时效性带来了全新的数据使用灵感的迸发，这也正是 Flink 带来的全新的大数据未来。
