技术博文
文件存储CPFS最佳实践-轻舟智航
通过与阿里云建立合作，轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案，打造一体化的自动驾驶数据底座，并且依托CPFS的高性能和高吞吐，很好地支持轻舟智航业务的快速增长。
EventBridge 生态实践：融合 SLS 构建一体化日志服务
本文将从 SLS 在 EventBridge上 的使用以及若干最佳实践场景等方面，为大家介绍如何基于 EventBridge 构建 SLS 相关应用。
一文详解K8s环境下Job类日志采集方案
K8s丰富的controller为分布式任务编排提供了极大的便利，然而任务的时长可能很短（如定时清理数据的任务），甚至有些任务因为一启动就运行失败出现秒退的情况，这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案，分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。
再谈数据湖3.0：降本增效背后的创新原动力
越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时，数据湖的应用场景也在不断发展，各行各业都在云上构建数据湖，从一开始的简单分析，到互联网搜索推广和深度分析以及近两年大规模的AI训练，都是基于数据湖架构进行的。
不仅有0.0075元的深度冷归档，更有对下一代云存储的重新定义
阿里云存储的创新活力，不仅拓展了云存储的边界，更为客户如何挖掘数据无限价值方面，带来了更多的可能。11月4日，阿里巴巴集团高级研究员、阿里云智能存储产品线总经理吴结生，在云栖大会上做了《重新定义云存储，释放数据无限价值》的主题分享。
阿里云日志服务SLS携手观测云发布可观测性解决方案，共建可观测应用创新
2022年云栖大会期间，阿里云同观测云共同发布可观测性联合解决方案。观测云通过集成日志服务SLS的产品能力，发布了观测云SAAS专属版。
使用日志上下文聚合插件使能上下文查询及Livetail
日志上下文浏览是排查业务故障时常用的方式，但受限于Logtail插件系统的设计，在Logtail 1.2.1版本前，如果用户使用Logtail插件来处理日志或采集容器的标准输出，那么用户将无法使用上下文浏览及Livetail功能。为了解决这一问题，本文将重点介绍如何使用日志上下文聚合插件来使能上下文查询和Livetail功能。
通过定时SQL提取阿里云API网关访问日志指标
阿里云API网关服务提供API托管服务，提供了强大的适配和集成能力，可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务，通过日志服务强大的查询分析能力，用户可以针对访问日志自定义计算多种指标，监测服务运行情况。继而通过定时SQL将结果指标直接存储到时序库，直接查询API网关指标，而且可以通过较低成本长期存储指标数据。 下面我们一步步从头开始，学习如何利用日志服务监测API网关及其代理的服务。
聊聊日志硬扫描，阿里 Log Scan 的设计与实践
SLS 新推出 Scan 功能，让未索引的字段也支持搜索（硬扫描模式），节省全量索引产生的构建和存储费用，同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配，帮助企业客户实现数字化增效、IT 支出降本的目标。
用积木讲运维，这样的IT人太会了
日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能，为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑，并能以搭积木的方式适配各类运维场景，辅助企业的IT决策。近日，日志服务SLS新增了两项重磅功能，有助于进一步提升研发、运维等场景数字化能力。
K8s场景下Logtail组件可观测方案升级-Logtail事件监控发布
SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller，采用K8s事件的方式，将处理流程中的关键事件透出，从而让用户能够更清楚的感知其中发生的异常。
[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化
本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结，有错误之处欢迎交流。
基于IoT全链路实时质量-魔洛哥
通过基于IoT的全链路实时质量，业务使用狄仁杰进行全链路埋点后，可一键接入魔洛哥平台，实现终端问题的实时感知和链路分析，以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低（分钟级别接入），可实现全链路的实时质量分析，以及精准的终端预警能力。帮助开发运维同学实时发现问题，快速问题的定位分析。
一招解决开发环境问题——远程容器开发指南
使用C++作为主要开发语言的程序猿们应该会认同搭建开发环境是一件烦人的事情。笔者在运营iLogtail开源社区的过程中发现开发和调试环境问题也是成员问的最多的问题之一。利用 VSCode 的 Remote-Development 插件可以使整个开发环境运行在远程容器中，利用容器技术做到一致、可移植、天然隔离的环境开发编译。本文由浅到深带大家搭建这样的远端容器开发环境。
Alibaba Cloud Lens 云产品可观测平台
Alibaba Cloud Lens 作为云产品可观测平台，可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下，低门槛实现对云产品的可观测。
使用Terraform玩转SLS告警
Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具，“Write，Plan and Create Infrastructure as Code”，Terraform的命令行接口（CLI）提供了一种简单的机制，用于将配置文件部署到阿里云或者其他任意支持的云上，并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块；强大的功能当然也有自动化配置的需求，本文将介绍如何使用Terraform进行简单的配置，即可完成在无界面的告警配置。
2022年AIOps热身赛数据可视化详解
本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解，希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下，如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/)，各位可以去查阅。
在SLS上进行异常点的绘制
对于很多流量、访问量、延时等场景，很对同学在绘制大盘时想能在指标中，体现出来异常值的位置，这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来，我们一步步操作下，如何绘制异常点
通用数据库审计K8s部署实践
通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案，在之前的文章《自建数据库没有审计方案？试试这套轻量级低成本方案》中介绍了通过部署Logtail和Packetbeat在应用服务器或者数据库服务器上的方法抓取数据库操作行为流量，从而实现数据库审计数据的采集。日志服务提供了开箱即用的审计报表和告警配置。 随着云原生技术的成熟，越来越多的应用部署在云原生环境，云原生环境的动态及灵活性给抓包工具带来了一些困难，本文主要介绍在K8s环境下如何部署这套轻量级、低成本审计方案。
通过日志服务实现数据库MySQL入湖OSS实践
日志服务（SLS）是云原生观测分析平台，为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案，存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能，实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践，并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。
零基础玩转SLS日志分析 - SLS Data Explorer发布
为了帮助用户改善查询分析体验，让更多不熟悉SQL语法的用户也能使用SLS进行日志分析，SLS推出了交互式查询分析功能（Data Explorer）。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景，助力用户专注于业务分析之上，而无需关注SQL语法细节。
如何写出高性能的SQL Join: join实现和最佳实践
Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中，为了避免数据冗余存储，不同的数据往往放在不同的表中，分为事实表和维度表，这样做可以极大的节省数据存储空间。但是在分析数据时，则需要通过join把多表关联起来分析。可以说，做数据分析，绕不开的一个话题就是join。而join有多种类型，在使用上有不同的使用方式，而在实现上也有不同的实现方式。不同的使用方式和实现方式，则会造成性能上的天差地别。本文尝试由表及里梳理join的使用和内部实现方式，通过了解内部实现，了解如何写出一个高性能的join SQL。
阿里云文件系统NAS SMB如何修改根目录权限
阿里云文件系统服务SMB文件系统（NAS SMB）在没有打开SMB ACL功能时，只支持只读操作，无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html，打开SMB ACL功能之后，用户即可修改根目录权限。
阿里云文件系统SMB ACL超级用户功能使用指南
阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能，可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例，方便用户模仿使用。
阿里云日志服务 SLS 全景体验
阿里云日志服务 SLS 不只是“日志储存”，更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”，发展为“客户的数据如何使用”，再过渡到“如何帮助客户用好数据，产生更大价值”。
以Trace为核心的根因分析概述
近期一直在学习和复现“根因分析”领域的相关文章，在这里跟大家一起分享下相关内容。这里不在赘述关于“可观测性”和“AIOps”的重要性和必要性，也不过多的陈述在“复杂系统”中进行快速根因诊断的必要性，直接进入到相关算法和系统设计部分。
SLS告警最佳实践——自定义分析告警历史
在SLS告警评估、触发到通知的整个生命周期过程中，都会有一些日志记录，通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。
MySQL数据库同步CDC方案调研
数据库同步是一个比较常见的需求，业务数据一般存储在一致性要求比较高的OLTP数据库中，在分析场景中往往需要OLAP数据库或者比较火的数据湖方案；CDC是数据库同步较为流行的方案，全称是Change Data Capture，主要用于捕捉数据库中变化的数据，然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨，调研方案基于MySQL数据库。
顺滑迁移Prometheus告警到SLS告警
Prometheus作为一个开源的云原生监控系统，具有很广泛的应用场景，通过各种Exporter收集各类设备，应用的指标，将各类指标抽象为时序数据，在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台，支持各种Ops场景。SLS告警系统主要包括指标采集，监控系统，告警管理，通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警，并使用SLS告警的管理功能。
SLS告警最佳实践——Webhook通知最佳实践
SLS告警通知对接了常用的各种 IM 系统，例如钉钉、企业微信、飞书、Slack。SLS对这些系统的 Webhook 进行了包装，用户无需关心各个通知渠道的具体消息格式，只需要配置希望通知的内容即可。 除此之外，还有其它的一些场景，需要使用通用Webhook（自定义 Webhook），本文主要介绍通用 Webhook 使用过程中常见的一些问题和最佳实践。
日志数据入湖的设计与实践
SLS 的队列功能及上下游生态可以为日志入湖提供端到端的支持，要修高速公路（PaaS/SaaS 数据源），也要去做“村村通”（端、开源软件）。 SLS 入湖支持包括四个部分： ● 可靠的采集能力覆盖 ● 弹性的写入与存储能力 ● 日志 ETL 与入湖准备工作 ● 围绕湖生态的模板支持与一键入湖
MySQL数据库审计采集技术调研之Packetbeat，eBPF
在数据安全的重要性日益突出的今天，数据库审计是数据安全的重要组成部分。在数据库审计的过程中往往需要关注数据库操作行为和性能数据：需要知道数据库来源IP，数据库服务器IP/端口，数据库登录用户，操作数据库名称，表名称，SQL语句，执行时间和返回数据条数等。这些数据的获取在数据库内核实现无疑是最佳的方式，但是并非所有的数据库都支持审计插件。几乎所有的数据库都是C/S模式，客户端与数据库通过网络协议沟通，数据库的协议大部分也是公开的，所以一种更通用的数据库审计数据采集的方案，应该是通过“外围”的抓包方案，具体是通过分析网络协议来采集数据库的行为数据。
简单、有效、全面的Kubernetes监控方案
近年来，Kubernetes作为众多公司云原生改造的首选容器化编排平台，越来越多的开发和运维工作都围绕Kubernetes展开，保证Kubernetes的稳定性和可用性是最基础的需求，而这其中最核心的就是如何有效地监控Kubernetes集群，保证整个集群的一个良好的可观察性。本期将为大家介绍Kubernetes的监控方案。
智能巡检告警配置最佳实践
智能异常分析的检测结果通过 SLS 告警功能输出到用户配置的通知渠道。在智能巡检场景中，单个任务往往会巡检大量的实体对象，涉及到的对象规则很多，我们通过SLS新版告警可以实现较好的对于巡检事件的管理。
SLS告警最佳实践—— K8s事件中心告警管理
K8S事件中心是SLS的日志应用之一，主要记录了集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。K8S事件中心实时收集K8S中的所有事件并提供存储、查询、分析、可视化与告警能力。K8s事件中心默认也会提供仪表盘和告警，本文主要介绍下如何在ACK控制台和SLS控制台管理K8s事件中心的告警及其区别和使用场景。
iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)
iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)
iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)
iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)
iLogtail使用入门-主机环境日志采集到SLS
iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正是开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在主机环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。
iLogtail使用入门-K8S环境日志采集到SLS
iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。
Alibaba Cloud Toolkit 中SLS插件助力线上服务问题排查
Alibaba Cloud Toolkit 是一款非常优秀的插件，新增SLS日志服务的功能，针对软件开发者日常工作中常见的问题排查场景，将日志服务平台的功能集成到ide当中，省去了不同窗口之间来回切换的时间，大大提高了日常工作的效率
在文件存储HDFS版上使用 CDH6
本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版，并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版，实现存储计算分离。
