通过云存储网关事件告警了解网关使用常见问题

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文通过云存储网关控制台事件告警中心,来说明网关使用过程中一些常见问题及相关的应对方法

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

背景:

云存储网关支持通过文件协议NFS/SMB来访问OSS Bucket里面的数据,用户通过创建NFS/SMB共享并绑定OSS Bucket从而实现以文件协议对OSS Bucket进行操作和管理。云存储网关控制台新上线的事件告警中心,则能帮助网关用户更方便的了解到当前使用网关上有哪些潜在的风险及问题。

事件告警中心:

image.png

用户可以通过时间范围,网关id,共享名称,当前是否正在告警等多个维度来筛选查看正在发生(已恢复或因网关删除不再有效的)的告警事件,也可以通过点击帮助文档来了解为何会产生此类告警事件及如何处置解决。
当前事件告警中心暂时支持三种事件,即“元数据空间不足”,“限流”及“上传队列堆积”等,下面就对这三种告警事件分别加以说明。

告警事件一:元数据空间不足

网关NFS/SMB共享需要一一对应一块缓存盘,缓存盘空间又分为数据缓存空间(对用户读写数据的缓存)以及元数据空间(存储目录结构及文件元数据等信息),网关共享管理的文件数目越多,使用的元数据空间也就越大,默认情况下会有20%的缓存盘空间用来存储元数据信息,当可用元数据空间耗尽的时候,网关共享将无法支持正常写入,因此当用户网关共享的可用元数据空间不足3GB,或者当缓存盘空间整体较小(<=75GB)情况下,可用元数据空间不足元数据空间总量的20%时候,会触发产生该告警事件。

用户可用通过网关控制台共享信息中的“可使用元数据空间”来了解具体情况
image.png

为了避免元数据空间耗尽导致的无法写入从而影响业务,建议用户在收到告警后,根据实际业务发展情况及时扩展共享对应的缓存盘大小,从而达到扩大元数据空间的目的,避免因元数据空间不足而导致无法写入。

告警事件二:限流

前面提到网关NFS/SMB共享对应的缓存盘有一大部分是作为用户读写数据的缓存空间。当用户通过网关挂载写入文件时,文件数据会先写入该缓存空间,当文件完全写入缓存并关闭后,网关才会将缓存中的文件数据上传至OSS。因此如果挂载写入一个远大于缓存空间的文件或者通过并发同时写入的文件大小总和远超过缓存空间都会导致触发产生该告警,同时网关共享也会变为限流状态,会极大限制挂载写入速度。

这里注意:通过挂载来读任意大小的文件并不会触发限流,因为读是切片的,网关并不会将整个文件内容读入缓存中。

为了避免限流引起的无法正常速度写入

  • 用户可以根据业务情况,对需要写入大文件的共享,对其缓存盘进行扩容操作,从而有更大的缓存空间来支持大文件写入。
  • 或者用户也可以根据业务实际情况对写入的大文件先进行压缩或者切片,对并发写入的文件调整降低并发数量等手段,来降低(同时)写入的文件数据总量,避免超过数据缓存空间后引起的限流。

告警事件三:上传队列堆积

导致该告警产生的情况比较多

  • OSS Bucket不存在
  • OSS Bucket配置了特定的RAM权限控制导致网关访问OSS Bucket受限,例如对访问源ip的黑白名单限制等
  • OSS Bucket为归档或者冷归档存储类型(细节可以参考官方文档)
    当由于上面种种原因导致网关无法正常将用户挂载写入的数据上传到OSS,从而上传队列产生堆积,当堆积量超过一定量之后触发产生该告警

用户可用通过网关控制台共享信息中的“上传队列”来了解具体情况
image.png

用户可以排查

  • OSS Bucket是否已经被删除,如果无需使用网关,请及时删除网关避免额外费用
  • OSS Bucket是否有配置了单独的RAM权限控制,特别是对访问源ip的限制
  • OSS Bucket是否为归档或者冷归档存储类型,网关建议用户使用标准存储类型的OSS Bucket,通过生命周期方式将部分数据转为归档或者冷归档。
相关实践学习
1分钟 Serverless搭建高性能网盘
本场景将使用阿里云函数计算、文件存储NAS以及开源项目Kodbox,带大家1分钟Serverless搭建个人高性能网盘,网盘可长期使用。
相关文章
|
移动开发 安全 算法
mPaaS云平台运维系列之—移动网关常见问题
移动网关服务(Mobile Gateway Service,MGS)是mPaaS提供的连接移动客户端与服务端的组件产品。该组件简化了移动端与服务端的数据协议和通讯协议,能够显著提升开发效率和网络通讯效率。本章主要介绍产品常见问题。
1272 0
mPaaS云平台运维系列之—移动网关常见问题
|
存储 弹性计算 对象存储
云存储网关——文件网关
背景 阿里云对象存储OSS能提供海量、安全、低成本、高可靠的云存储服务。使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择全面优化存储成本。由于阿里云OSS具备以上所说的优势,所有一直是有大容量存储需求的首要选择,但是最近再做一个项目的时候,遇到了一个问题:geoserver 无法使用oss以url的形式支持读取影像数据,只能用路径地址来调用。
6606 0
|
存储 监控 对象存储
云存储网关集成SLS的网关日志上线
概述 云存储网关6月底商业化之后,在稳定性和性能不断提高的同时,安全和监控方面能力也进一步得到了增强。网关在1.0.39版本集成SLS日志服务输出了网关日志监控,主要解决以下的痛点: 网关提供了近期几天的性能监控图,但是没有查询历史性能数据的接口 前端写入了数据,用户如何能够知晓这些数据何时上云以及上云的响应时间 用户如何审计网关的上云增删改的所有操作 配置 云存储网关日志监控配置操作简单便捷,支持监控项的创建,删除,启用,禁用。
787 0
|
存储 缓存 安全
架起线上线下存储桥梁,云存储网关开放性能型文件网关及块网关公测
云存储网关支持行业标准的文件和块存储协议,可以通过在本地缓存经常访问的数据来提供低延迟高性能, 让企业或个人安全地将数据存储在阿里云OSS中,最新发布的“性能型文件网关”和“块网关”现已开通公测。
1847 0
|
4天前
|
运维 网络协议 安全
长连接网关技术专题(十):百度基于Go的千万级统一长连接服务架构实践
本文将介绍百度基于golang实现的统一长连接服务,从统一长连接功能实现和性能优化等角度,描述了其在设计、开发和维护过程中面临的问题和挑战,并重点介绍了解决相关问题和挑战的方案和实践经验。
118 1
|
6月前
|
负载均衡 应用服务中间件 API
微服务技术系列教程(25) - SpringCloud- 接口网关服务Zuul
微服务技术系列教程(25) - SpringCloud- 接口网关服务Zuul
65 0
|
5月前
|
负载均衡 Cloud Native Java
【云原生】Spring Cloud Alibaba 之 Gateway 服务网关实战开发
【云原生】Spring Cloud Alibaba 之 Gateway 服务网关实战开发
515 0
|
4天前
|
缓存 安全 API
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
公司对外开放的OpenAPI-Server服务,作为核心内部系统与外部系统之间的重要通讯枢纽,每天处理数百万次的API调用、亿级别的消息推送以及TB/PB级别的数据同步。经过多年流量的持续增长,该服务体系依然稳固可靠,展现出强大的负载能力。
75 9
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现

相关产品

  • 云存储网关
  • http://www.vxiaotou.com