日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记).

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记),默认值为空字符串(空字符串也为一个有效的主题)。用户可以通过使用REST API/SDK上传数据时设置主题。除此之外,Logtail客户端为日志服务用户常用的数据接入客户端,目前也支持设置使用不同的属性设置主题名称。

Logtail主题配置可以在Logtail配置页面中“高级选项”进行设置,目前支持4中主题设置方式:空字符串(默认值)、文件路径、文件路径正则和机器组Topic属性。页面详情请参考截图。
_TOPIC

空字符串

空字符串即Logtail主题配置的默认值,在使用“日志索引”功能进行关键词查询时不需要输入任何主题名称即可查询上传数据。
_

文件路径正则

使用场景

如果服务日志根据不同的用户或者实例将日志记录在不同目录下面,但是日志比如下面的目录结构:

/logs
  | - /userA/serviceA
    | - service.log
  | - /userB/serviceA
    | - service.log
  | - /userC/serviceA
    | - service.log

使用Logtail配置文件路径为“/logs”,文件名称为“service.log”后,会将三个service目录下的日志内容实时收集至服务端,但是无法明确区分日志内容具体由哪个用户或者实例产生。此时可以设置“Topic生成方式”为“文件路径正则”,并且输入正则表达式“/(.*)/serviceA/.*”提取实例名称。

查询方式

当选择“文件路径正则”主题生成方式时,Logtail上报数据时会将实例名称作为主题名称上传至日志服务,根据上述目录结构和配置,会生成3个topic,其分别为“userA”、“userB”和“userC”,在使用“日志索引”功能查询时需要指定主题名称为实例名称。
_

机器组Topic属性

使用场景

假设公司通过一批前端机器对外提供HTTP服务,但是对于VIP用户希望提供更高的SLA,因此将其中部分机器只对VIP用户开放服务,对于所以HTTP访问日志目录结构如下:

/logs
  | - access.log

使用Logtail配置文件路径为“/logs”,文件名称为“access.log”后,会将所有前端机对应的访问日志都实时收集至服务端,但是无法明确区分是由哪组前端服务器产生。此时可以设置“Topic生成方式”为“机器组Topic属性”,之后将前端机器分成“normal-group”和“vip-group”两个机器组,在创建机器组时,可以设置两个机器组的Topic属性分别为“normal”和“vip”,具体设置方式截图如下:
_

将两个机器组应用之前创建的Logtail配置后,即完成对应配置。Topic属性会根据机器组应用到对应机器,为防止歧义,请不要对同一台机器应用不同Topic数值,否则会在Topic之间进行切换。

查询方式

当选择“机器组Topic属性”主题生成方式时,Logtail上报数据时会将机器所在机器组的Topic属性作为主题名称上传至日志服务,在使用“日志索引”功能查询是需要指定主题名称为特定机器组Topic属性。
_TOPIC

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1天前
|
关系型数据库 MySQL 数据库
mysql数据库bin-log日志管理
mysql数据库bin-log日志管理
|
1天前
|
SQL 存储 Java
实时计算 Flink版产品使用合集之怎么配置日志的输出格式和文件大小
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
14 1
|
1天前
|
存储 关系型数据库 数据库
关系型数据库文件方式存储LOG FILE(日志文件)
【5月更文挑战第11天】关系型数据库文件方式存储LOG FILE(日志文件)
6 1
|
2天前
|
消息中间件 SQL 资源调度
实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
12 0
|
2天前
|
运维 监控 安全
Java一分钟之-Log4j与日志记录的重要性
【5月更文挑战第16天】Log4j是Java常用的日志框架,用于灵活地记录程序状态和调试问题。通过设置日志级别和过滤器,可避免日志输出混乱。为防止日志文件过大,可配置滚动策略。关注日志安全性,如Log4j 2.x的CVE-2021-44228漏洞,及时更新至安全版本。合理使用日志能提升故障排查和系统监控效率。
14 0
|
3天前
|
C++
JNI Log 日志输出
JNI Log 日志输出
19 1
|
3天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
3天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
3天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
89 1
|
3天前
|
弹性计算 运维 Shell

相关产品

  • 日志服务
  • http://www.vxiaotou.com