SLS控制台日志下载功能全新升级

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。

背景

阿里云日志服务(SLS)支持将日志或查询分析结果下载到本地,并提供了控制台、Cloud Shell、SLS CLI以及SLS SDK四种下载方式下载日志。控制台下载的方式无需用户进行额外的配置或部署,只需一些简单的控制台操作便可完成下载,相较于另外三种方式更加便捷、易用,也更受大部分用户的青睐。

在本次功能升级前,控制台一次最多只能下载100条日志,更大量的日志下载场景只能选择其他三种方式。控制台下载的易用性使其成为大部分用户下载日志的首选,然而100条日志的单次下载限制又让大部分用户不得不选择其他的下载方式。基于以上问题,本次发布对控制台下载功能进行了升级,期望控制台下载的方式可以满足绝大部分用户的日志下载需求。

下载方式对比

日志服务目前提供控制台、Cloud Shell、SLS CLI以及SLS SDK这四种方式下载日志。这四种方式的对比如下

控制台下载

CloudShell下载

SLS CLI下载

SLS SDK下载

最大下载量

查询:20 GB

分析:2 GB

100万条

无数量限制

无数量限制

部署

自动部署

需手工安装CLI

手工部署

密钥

自动配置

需要手动配置

需要手动配置

局域网下载(不产生公网流量费用)

仅支持上海地域

支持(需要部署在对应地域的ECS上)

支持(需要部署在对应地域的ECS上)

NAS集成

自动

手动配置

手动配置

注:Cloud Shell、SLS CLI或SDK下载方式无数量限制,但可能由于网络等不确定因素,出现下载中断问题。

通过控制台下载

日志服务支持通过控制台直接将日志或查询分析结果下载到本地,两者的下载操作类似。如果您要下载查询分析结果,可在执行查询分析操作后,在统计图表页签中,单击下载日志。

1. 直接下载日志

登陆日志服务控制台,在Project列表区域,单击目标Project进入。进入目标Project之后,在日志存储 > 日志库页签中,单击目标Logstore进入。在原始日志页签中,点击下载logo,并选择下载日志。

在弹出的日志下载对话框中,完成如下配置,然后单击确认

其中各个配置项的说明如下

参数

说明

参数类型

时间范围

下载日志的时间范围

自动填充

查询语句

直接下载日志时,查询语句为空;下载查询分析结果时,展示对应的查询分析语句。

自动填充

任务名

下载任务的名称

选填,不填时系统会给一个随机的名称

日志数量

展示当前下载的日志数量

自动填充

数据格式

支持CSV格式和JSON格式。

  • 采用CSV格式时,文件中的列名将根据前100条日志的字段生成。如果后续日志存在新的字段,则所有新的字段将以JSON格式存放在CSV文件的最后一列(列名为空)。
  • 采用JSON格式时,单条日志的内容会转换为JSON格式,然后以单行形式写入文件。

必填,默认CSV

压缩方式

支持gzip、lz4、zstd等压缩方式,也支持不压缩。

当下载的日志数量比较多时,强烈建议采用压缩方式,可显著降低下载量,减少文件的下载时间。

必填,默认gzip

排序规则

日志的排序规则,按时间升序还是降序排列。

必填,默认按时间升序排列

quote字符

使用单引号还是双引号作为quote

必填,默认使用双引号作为quote

是否下载不精确的结果

下载查询分析结果时,如果查询分析结果不精确,是否继续下载。

必填,默认否

完成上述配置后,单击确认,系统将弹出日志导出历史对话框,展示直接下载的任务列表。等待任务状态为任务成功后,您可以单击下载,下载日志到本地。

您后续也可以在原始日志页签中,点击下载logo,并选择日志导出历史,打开日志导出历史对话框(目前控制台支持保存最近1天内的导出记录,超过1天的导出记录被自动清除)。

2. 下载查询分析结果

日志服务除了支持通过控制台直接将日志下载到本地外,也支持下载查询分析结果。两者的下载操作类似。如果您要下载查询分析结果,可在执行查询分析操作后,在返回结果的统计图表页签中,单击下载日志。

后续的配置以及下载步骤与直接下载日志的完全一致,可参考上一节的内容。

3. 限制说明

下面列出了控制台下载功能的一些使用限制以及注意事项:

  • 单次最多下载100万条日志。超出时,仅下载前100万条,如果需要下载全量日志,可缩小查询的时间范围,分多次下载。
  • 单次最多下载10万行分析结果。超出时,仅下载前10万条,如果需要下载全量的分析结果,可缩小查询的时间范围,分多次下载。
  • 单个阿里云账号最多支持3个并发下载操作(总下载次数无限制)。超出3个并发下载操作或多个RAM账号同时操作时,可能报错,此时您可等待其他操作完成后,再重试。
  • 支持保存最近1天内的导出记录,超过1天的导出记录被自动清除。
  • 在遇到网络错误或者查询不精确时,系统会自动重试下载任务。如果重试3次后,仍无法完成下载,则下载任务为失败状态。

其他下载方式

1. 通过Cloud Shell下载

您也可以通过Cloud Shell下载日志。更多信息,请参见使用Cloud Shell下载日志数据

注意:目前Cloud Shell位于上海地域,如果当前Logstore不在上海地域,下载日志会产生一定的公网流量费用。价格详情请参见产品定价

2. 通过SLS CLI下载

当您需要下载更大数量的日志时,可通过SLS的命令行工具下载。 更多信息,请参见使用日志服务CLI

注意:

  • 通过命令行工具下载日志时,需替换命令中的AK信息。请登录用户信息管理控制台获取阿里云账号AK。如果使用RAM用户进行下载,请登录RAM 控制台创建RAM用户并用RAM用户的AK信息。
  • 如果用于安装命令行工具的机器的所在地域与当前Project所在地域相同,建议切换为内网endpoint,下载速度更快且不会产生额外的外网带宽费用。

3. 通过SLS SDK下载

当您需要下载更大数量的日志时,可通过SDK下载。 更多信息,请参见SDK参考概述

结语

下面是 SLS 团队的技术博客,我们会不定期推出技术文章分享和产品更新介绍,欢迎大家订阅,有任何问题也欢迎与我们反馈。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
10天前
|
数据采集 分布式计算 监控
日志服务功能特性
日志服务功能特性
24 7
|
14天前
|
关系型数据库 MySQL 数据库
mysql数据库bin-log日志管理
mysql数据库bin-log日志管理
|
14天前
|
存储 关系型数据库 数据库
关系型数据库文件方式存储LOG FILE(日志文件)
【5月更文挑战第11天】关系型数据库文件方式存储LOG FILE(日志文件)
76 1
|
14天前
|
运维 监控 安全
Java一分钟之-Log4j与日志记录的重要性
【5月更文挑战第16天】Log4j是Java常用的日志框架,用于灵活地记录程序状态和调试问题。通过设置日志级别和过滤器,可避免日志输出混乱。为防止日志文件过大,可配置滚动策略。关注日志安全性,如Log4j 2.x的CVE-2021-44228漏洞,及时更新至安全版本。合理使用日志能提升故障排查和系统监控效率。
73 0
|
16天前
|
C++
JNI Log 日志输出
JNI Log 日志输出
56 1
|
16天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
263 6
|
16天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
16天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
97 1
|
16天前
|
弹性计算 运维 Shell
|
16天前
|
SQL 分布式计算 监控
日志服务主要功能
本文介绍日志服务主要的功能。
32 2

相关产品

  • 日志服务
  • http://www.vxiaotou.com