批量导入历史文件到日志服务

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

批量导数据的场景

日志服务主要接收实时写入日志,通过在机器上安装logtail,在控制台配置logtail配置,就能够实时收集到新产生的日志。但是对于一下场景

  • 新接入SLS的用户,希望把老的数据导入SLS。
  • 用户误操作造成的数据没有收集,需要补数据。
  • 日志不是实时产生,但需要批量导入,比如mysql binlog。

对于以上场景,用户需要使用日志服务的批量导数据工具才能够把数据写入日志服务。

导数据操作步骤

以下以导入/var/log/nginx/error_log.1到日志服务的nginx_log这个logstore为例,介绍导入历史数据的操作流程:

  1. 下载导数据工具 地址1 到你需要导数据的机器上.
  2. 在控制台为logstore(nginx_log)配置logtail配置,如果已经有了logtail配置,请忽略该步骤。logtail配置只需要正则式和时间格式能够匹配文件内容,不要求路径和文件名匹配。
  3. 把logtail配置应用到机器组上,机器组列表要包含导数据的机器ip、
  4. 在机器上执行
./import_log  --dir=/var/log/nginx/ --file=error_log.1 --begin_time=1443567661 --end_time=1448838061 \
--sls_region=cn-yunlei --project=ali-slsyunlei-scmg --logstore=nginx_error_log --topic=  \
--use_system_time=false  --quota_mb_per_min=500 --quota_qps=200   --dry_run=false

命令参数介绍

  • 文件相关参数

    • 目录名 --dir
    • 文件名 --file
    • 起始时间表示从哪个时间点开始导入数据 --begin_time
    • 结束时间表示导入数据截至到哪个时间点 --end_time
  • 日志服务参数,分别表示导入到哪个sls_region下的哪个project的logstore中,topic是什么

    • sls_region
    • project
    • logstore
    • topic
  • 系统参数

    • quota_qps 每分钟发送次数
    • quota_mb_per_min 每分钟数据量Mb
    • use_system_time=true 使用系统时间
    • dry_run=true 调试,把日志打印到终端
  • Region地址

    + cn-hangzhou  
    + cn-qingdao 
    + cn-beijing 
    + cn-shenzhen  
    
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
15天前
|
Oracle 关系型数据库 分布式数据库
实时计算 Flink版产品使用合集之日志文件快速增长如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
开发工具 iOS开发
如何导出iPhone手机中app共享文件夹的文件与闪退日志的收集
如何导出iPhone手机中app共享文件夹的文件与闪退日志的收集
13 1
|
10天前
|
安全 Python
Python 多进程日志输出到同一个文件并实现日志回滚
Python 多进程想要实现将日志输出到同一个文件中,使用同一个日志句柄,且日志需要按照日期,大小回滚。
|
15天前
|
存储 关系型数据库 数据库
关系型数据库文件方式存储LOG FILE(日志文件)
【5月更文挑战第11天】关系型数据库文件方式存储LOG FILE(日志文件)
76 1
|
16天前
|
JavaScript Java API
【JavaEE】Spring Boot - 日志文件
【JavaEE】Spring Boot - 日志文件
7 0
|
17天前
|
Oracle 关系型数据库
|
17天前
|
Go 文件存储 iOS开发
LabVIEW崩溃后所产生的错误日志文件的位置
LabVIEW崩溃后所产生的错误日志文件的位置
19 0
|
17天前
|
弹性计算 运维 Shell
自动日志文件轮转
【4月更文挑战第30天】
9 0
|
17天前
|
弹性计算 应用服务中间件 Shell
切割Nginx 日志文件
【4月更文挑战第29天】
24 1
|
17天前
|
存储 弹性计算 运维
统计/var/log 有多少个文件
【4月更文挑战第29天】
24 1

相关产品

  • 日志服务
  • http://www.vxiaotou.com