带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

简介: 带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

4.4.2产品功能


日志服务目前已支持50多种数据接入方案,其采集对象包括服务器与应用相关日志、物联网设备日志、阿里云产品日志、移动端数据以及多种开源产品中的数据。采集的日志可以通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议存入日志服务。针对海量的数据,日志服务支持千亿级数据实时采集和查询与分析能力,支持多种机器学习语法与函数,可对数据进行变点检测、预测与异常检测、时序聚类、异常对比以及根因分析等处理。为满足不同业务上的数据需要,日志服务还提供了独特的数据加工能力,可用于海量数据的规整、富化、流转、脱敏和过滤。为应对海量数据存储以及查询带来的压力,日志服务支持设置Scheduled SQL作业,对时间窗口为 , 的数据持续连续进行数据特征抽取以及数据量压缩,在保留有效数据特征的基础上极大的降低数据存储投入的成本。

image.png

图: 日志服务Scheduled SQL作业

日志服务除了日志采集以及查询的基本功能外还提供其独特的消费与投递功能。存储在日志服务的数据支持通过多语言多版本SDK、API进行实时消费。同时日志服务可以对接开源以及云上流式计算产品(Storm、Flink、Spark)进行数据实时分析、数据特征抽取以及数据转存等功能。为满足用户对不同数据存储的需要,日志服务支持将数据投递到阿里云OSS、MaxCompute、AnalyticDB MySQL以及 TSDB。而在日志数据的展示方面,日志服务有其独特的可视化解决方案,用户可以快速构建对应的监控服务。为了满足多样的监控系统需要,日志服务支持将数据投递到Grafana、云监控等监控类产品,用户可以基于对应的监控产品构建适合自己的监控预警系统。

日志服务的另一大功能就是告警。日志服务提供了多样的告警渠道,支持通过短信、语音、邮件、钉钉、企业微信、飞书、Slack、通用Webhook等渠道告警,可以满足大多数日常业务预警的渠道需要。同时日志服务的查询与分析功能提供了十多种机器学习算法,开发人员和IT运维人员可结合业务实际需要来使用日志服务的机器学习服务,对海量的日志以及时序数据进行智能监控,包括智能聚类、异常检测、异常

预测等。通过结合机器学习流式统计或图算法等进行业务异常检测,当发现异常数据后可以将结果可以直接应用在告警监控任务中。日志服务多样的告警行动策略也使得告警的灵活性以及告警的准确性上更加贴合业务的需要。日志服务支持配置多样的告警行动策略,可以对告警进行指纹去重、分组合并、合并集合去重、告警抑制、告警静默等,解决了同一问题重复告警等问题。

日志服务的数据存储方面支持冷热分层存储,以及时序数据存储两种存储形式。通过冷热分层存储可以合理降低非热点数据的存储成本。时序数据存储也为对接Grafana等监控提供了可靠的支持。

image.png

图: 日志服务SLS下游生态

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
14天前
|
Oracle 关系型数据库 分布式数据库
实时计算 Flink版产品使用合集之日志文件快速增长如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之采集Oracle数据库时,归档日志大小暴增的原因是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7天前
|
Cloud Native 关系型数据库 MySQL
实时计算 Flink版产品使用合集之是否支持云原生数据仓库AnalyticDBPostgreSQL到DORIS的实时数据同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
自然语言处理 监控 Cloud Native
对话阿里云云原生产品负责人李国强:推进可观测产品与OpenTelemetry开源生态全面融合
阿里云宣布多款可观测产品全面升级,其中,应用实时监控服务 ARMS 在业内率先推进了与 OpenTelemetry 开源生态的全面融合,极大丰富了可观测的数据类型及规模,大幅增强了 ARMS 核心能力。本次阿里云 ARMS 产品全面升级的背景是什么?为什么会产生围绕 OpenTelemetry 进行产品演进的核心策略?在云原生、大模型等新型应用架构类型层出不穷的今天,又将如何为企业解决新的挑战?阿里云云原生应用平台产品负责人李国强接受采访解答了这些疑问,点击本文走进全新升级的阿里云可观测产品。
41651 7
|
8天前
|
SQL 关系型数据库 数据库
实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
关系型数据库 MySQL 调度
实时计算 Flink版产品使用合集之归档日志定时清理导致任务失败如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之Oracle归档日志一天就达到了15GB并导致数据库崩溃,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用合集之是否支持从库归档日志捕获数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
11天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级

相关产品

  • 日志服务
  • http://www.vxiaotou.com