技术博文-阿里云开发者社区-阿里云

开发者社区> 云存储> 技术博文

技术博文

关注

0
今日
202
内容
0
活动
36
关注
|
20小时前
|
存储 消息中间件 Cloud Native
|

AutoMQ:充分挖掘云计算技术红利,免除下云烦恼

AutoMQ 通过深度用云,以云原生的能力重构了 Apache Kafka,创造了 10 倍的成本优势。相较于Kafka,AutoMQ的共享存储架构使得在分区迁移、节点动态扩缩容、流量自动重平衡等运维方面的耗时指标得到了数百倍的优化。今天,这篇文章,主要是立足于阿里云,盘点 AutoMQ 深度使用的云原生技术,以及分别用这些技术解决什么样的实际问题。

38 0
|
15天前
|
程序员 Linux KVM
|

【qemu虚拟化】将img镜像文件转换为VMware虚拟机

QEMU是一个开源的硬件虚拟化器,能在多种平台如x86、ARM、PowerPC上运行,支持虚拟化不同体系结构的操作系统。它具有硬件仿真、虚拟化支持、磁盘和网络仿真、快照回滚及可扩展性等特点。要使用QEMU,首先从[官网](https://www.qemu.org/download/)下载,然后通过命令行运行进行转换。转换后的vMDK文件可在VMware中导入,创建新的虚拟机进行使用。

76 1
|
1月前
|
Linux Shell Windows
|

Linux如何检查文件夹的大小?

在Linux中查看文件夹大小,可使用`du`(如`du -sh *`)、`df`(如`df -h /home`)查看磁盘使用情况,`ncdu`提供交互式浏览,`ls -lh`显示当前目录文件大小,`find`与`du`结合找大文件夹,`tree --du -h`展示目录结构及大小,或用`awk`与`du`组合按大小排序。不同场景下,这些命令各有优势。

157 1
|
1月前
|
数据采集 存储 监控
|

离散型工厂生产制造MES管理系统解决方案

MES 是车间中用以管理和优化从订单下达到产品完工的整个生产过程的硬件和软件的集合,它控制和利用准确的制造信息,对车间生产活动中的实时事件做出快速响应,同时向企业决策支持过程提供相关生产活动的重要信息。

113 0
|
2月前
|
存储 机器学习/深度学习 人工智能
|

AIGC训练场景下的存储特征研究

在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

94214 4
|
2月前
|
存储 机器学习/深度学习 人工智能
|

AIGC训练场景下的存储特征研究

在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

655 3
|
2月前
|
存储 调度 块存储
|

十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!

上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。

104643 104
|
3月前
|
存储 固态存储 Java
|

用软硬协同设计下的飞天盘古降低存储系统开销

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

137558 135
|
4月前
|
安全 网络安全 区块链
|

勒索病毒利如刀,上网备好技能包

网络安全已不是小说电影中遥远的黑客、间谍与烧脑幻想,而是关系到每一个人的切身利益。勒索病毒作为近年来黑客组织牟取暴利的绝佳手段,也是发展最快的网络安全威胁之一。

62112 2
|
5月前
|
存储 测试技术 区块链
|

阿里云、百度云及移动云对象存储横向性能对比测试

在企业的数字化转型进程中,我们观察到越来越多的公司将其IT基础设施迁移到云端。随着企业业务的持续运营,无论是储存、处理、分享还是删除,都会产生大量的数据,这就要求有一个既可靠又高效的系统来管理和存储这些信息。对象存储产品在这个场景中扮演了至关重要的角色。它们以一种可扩展、安全、持久的方式,有效地满足了对大规模非结构化数据存储的需求。 尽管市场上云计算提供商众多,各自都有自己独特的对象存储产品,面对这样的丰富选择,如何寻找最符合企业需求的产品呢?这正是企业今天寻求解答的问题。 在本篇文章中,我们将深入进行一项横向对比测试,专门对阿里云OSS、百度云BOS和移动云EOS这三大云服务提供商的对象

1417 0
|
5月前
|
存储 测试技术 Linux
|

存储稳定性测试与数据一致性校验工具和系统

LBA tools are very useful for testing Storage stability and verifying DATA consistency, there are much better than FIO & vdbench's verifying functions.

928 0
|
5月前
|
数据采集 监控
|

万界星空科技QMS质量管理系统

QMS(Quality Management System)质量管理系统是五大基础系统之一,在工业企业中被广泛的应用,在质量策划、生产过程质量监督、体系审核和文档管理等业务上发挥着不可替代的作用。

628 1
|
6月前
|
运维 算法 数据挖掘
|

在云栖,一场关于数据洞察的创新实践

数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。阿里云将携手广大开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。

734 10
|
7月前
|
网络协议 算法 网络性能优化
|

关于TCP协议我们需要知道的

TCP协议是OSI模型中的传输层协议,用于建立和维护两个程序间的数据交换连接,以及通过Internet发送信息。TCP协议的主要特点包括面向连接、可靠性、流控制和拥塞控制。其中,三次握手和四次挥手是建立和断开TCP连接的必要过程。此外,TCP协议还提供了流控制机制来控制数据发送方的发送速度,以避免网络拥塞问题。

646 0
|
7月前
|
存储 运维
|

聚焦移动互联网,传易将好音乐带给非洲用户

传易音乐借助阿里云数据湖、多媒体数据存储等解决方案,获得了PB级容量及超百Gb的带宽吞吐能力。

1050 1
|
8月前
|
存储
|

MATLAB实战 | 不同形式的三维曲面图

通常,MATLAB中绘制三维曲面图,先要生成网格数据,再调用mesh函数和surf函数绘制三维曲面。若曲面用含两个自变量的参数方程定义,则还可以调用fmesh函数和fsurf函数绘图。若曲面用隐函数定义,则可以调用fimplicit3函数绘图。

440 0
|
8月前
|
数据采集 中间件 Shell
|

一文了解常见的Python爬虫框架Scrapy

爬虫框架:Scrapy

465 1
|
8月前
|
搜索推荐
|

【推荐几款实用的网盘资源搜索引擎】

云盘资源,浩如烟海,但缺乏搜索工具,让无数网友苦不堪言。幸运的是,现在有了强大的网盘搜索引擎,一切问题迎刃而解。轻松找到您需要的文件,快速下载,节省时间。享受便捷的云盘体验,释放您的创造力。无论是工作文档还是娱乐资源,网盘搜索引擎助您轻松搞定。解放您的搜索困扰,开启全新的云盘世界!

3327 0
|
8月前
|
Web App开发 数据采集 前端开发
|

什么是Selenium

什么是Selenium

192 0
|
9月前
|
存储 数据采集 运维
|

日志服务(SLS)测评

在本次测评中,我将对日志服务SLS产品进行全面评估,主要从以下四个方面展开。首先,我将进行功能测试,基于之前参加的两次训练实验,对其功能进行评估。其次,我将与其他数据分析&可观测性产品进行比较,以了解SLS的优势和差异。然后,我将进行成本与收益分析,探讨SLS作为一站式的可观测数据存储分析平台所带来的成本节约和收益提升。最后,我将对SLS进行简要总结,并提出一些期待,希望能够为用户提供有用的参考信息。

454 1
|
10月前
|
运维 Devops 开发工具
|

bug怎样算修完,浅谈团队分布式bug管理 git-poison简单易用的bug管理工具

介绍基于go-git开发实现通用化的git-poison,通过分布式源码管理bug追溯、查询。

46328 16
|
10月前
|
存储 分布式计算 Hadoop
|

手把手教你使用OSS-HDFS服务平替自建HDFS

本文主要介绍了OSS-HDFS服务以及使用OSS-HDFS服务平替自建HDFS。

130311 20
|
10月前
|
存储 域名解析 弹性计算
|

阿里云VPC内网DNS日志正式接入SLS日志审计服务

内网DNS日志(Intranet DNS Log) 记录了指定阿里云uid下所有VPC网络内终端产生的DNS域名解析请求和应答,终端请求的这些域名既包含了配置在PrivateZone上的内网权威域名,也包含了外部公网域名。为了满足用户可以快速、简单实现多账号、多地域场景下内网DNS日志的采集、管理、中心化查询分析等需求,DNS与SLS联合开发,在SLS日志审计应用中发布一键开启内网DNS日志的功能。

569 3
|
10月前
|
存储 机器学习/深度学习 人工智能
|

从云存储的角度浅显的聊一聊 AIGC

现在,你要是还没听过“通义千问”、“通义听悟”,出门都不好意思和别人打招呼。那么,以其为代表的 AIGC(AI Generated Content)又是如何凭实力屡屡破圈,其发展更是经历了怎样的烈火烹油、鲜花着锦呢?

4540 2
|
10月前
|
存储 测试技术 块存储
|

阿里云块存储团队软件工程实践

文本主要介绍阿里云块存储团队同学们的踩坑经验,总结成案例和方法分享公示,实践和方法论不限于分布式系统。

151236 10
|
11月前
|
存储 负载均衡 网络性能优化
|

谈一谈文件系统的多租户实践

为了保证多租户场景下,单个用户可以获得与独占资源时相同的体验,云服务需要综合利用负载均衡、请求优先级调度、实例隔离等多项技术,让用户流量恰当地分布在整个集群中。

5175 2
|
11月前
|
存储 缓存 监控
|

浅谈对象存储分布式缓存

从整体系统的架构上来考虑降低飞天盘古的请求压力,需要在对象存储业务前端系统服务层面去优化系统全局缓存,提高缓存的命中率。

4860 1
|
11月前
|
存储 人工智能 自然语言处理
|

云存储,为 AI 创新提速

面向 AI 时代的云存储,必须要服务于数据全生命周期,贯穿 AI 业务全流程,在数据准备、模型训练与部署、应用与内容生成、内容分发与协作每一个关键环节,提供稳定、安全、高性能、低成本的存储能力。

8228 2
|
11月前
|
存储 架构师 数据管理
|

免费下载!《云存储应用白皮书》详解创新背后的技术实践

进入21世纪,云存储技术兴起,并成为应对数据洪流的利器。《云存储应用白皮书》作为云存储行业全景式文档,阐述了变革时代之下云存储的三大核心技术趋势,旨在为数字经济从业者提供具有指导性、操作性的参考资料。电子书现已开放下载,即刻收藏阅读吧!

1327 0
|
11月前
|
存储 缓存 人工智能
|

阿里云Alex Chen:数据就像浩瀚的宇宙

数据驱动创新,创新鉴于未来。

6608 2
|
12月前
|
存储 前端开发 应用服务中间件
|

阿里云对象存储服务OSS前后联调

阿里云对象存储服务OSS前后联调

763 0
|
存储 数据采集 缓存
|

数据中台建设:千万级的瀑布式,和十万级的迭代式,你会选择哪一个?

连接1次孤岛,服务N个场景。Tapdata Live Data Platform (LDP)通过为实时数据集成增加一个高速缓存的方式,将企业核心的常用的数据实时复制到缓存层(最后一次ETL),再从缓存层为企业的多个应用场景快速提供数据, 实现一次打通,多次复用的降本增效价值。Tapdata LDP 现已入驻阿里云云市场。

16076 0
|
存储 弹性计算 分布式计算
|

SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道

目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。

735 0
|
存储 SQL NoSQL
|

表格存储 Tablestore 十年发展总结

这篇文章接下来会先整体介绍下表格存储 Tablestore,之后会分享下在技术层面产品这几年的功能演进、技术架构演进以及稳定性优化相关的工作,以及在业务层面我们定义的核心应用场景和一些典型案例。

66557 7
|
数据采集 存储 消息中间件
|

iLogtail开源之路

2022年6月底,阿里云iLogtail代码完整开源,正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据,广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。此次完整开源,iLogtail社区版首次在内核能力上与企业版完全对齐,开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。

758 1
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

51874 5
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

405 0
|
存储 监控 前端开发
|

行动策略过于复杂怎么办?试试下面一些解决方法

随着使用SLS告警越来越深入,有些用户的行动策略会配置的特别复杂,有些时候可以让用户通过创建多个行动策略来进行一定的精简,但是在一些场景下,用户是无法创建多个行动策略的。

207 0
|
存储 数据采集 监控
|

无数据告警最佳实践

在对SLS的Logstore和Metricstore进行监控的过程中,有时候会出现一些无数据的情况,监控SLS的存储库中无数据的情况,是保证数据成功上传到SLS的一个重要手段,本文将介绍无数据告警的常见配置方法。

379 0
|
存储 人工智能 运维
|

QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!

QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

996 2
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

350 0
|
数据采集 监控 Linux
|

?数据采集神器Telegraf对接开源日志服务器GrayLog

?数据采集神器Telegraf对接开源日志服务器GrayLog

638 0
|
数据采集 运维 监控
|

本地机器安装Logtail接入到阿里云SLS日志服务

本地机器安装Logtail接入到阿里云SLS日志服务

1185 0
|
弹性计算 运维 网络安全
|

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

435 1
|
存储 安全 对象存储
|

用阿里云对象存储OSS搭建个人网盘或企业网盘的方法

阿里云对象存储OSS是低成本高可靠的存储服务,使用阿里云OSS对象存储搭建个人网盘或企业网盘的方法

1292 0
|
存储 运维 监控
|

一键式开启:IDaaS日志接入SLS日志审计发布

本文主要介绍IDaaS EIAM两种日志(管理操作+用户行为)接入SLS日志审计的最佳实践

292 0
|
存储 数据采集 消息中间件
|

阿里十年技术沉淀|深度解析百PB级数据总线技术

数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据管理,进而实现与下游系统的解耦;之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程,进而将结构化后的数据投递到下游的分析、归档系统,进而达到构建清晰的数据流的目的。广义上,数据采集与接入、传输链路、存储队列、消费计算、投递等都属于数据总线的范畴,整体上可以分为采集接入层、管道层、计算层。

22639 6
|
监控
|

H3C交换机配置信息中心将日志发送到日志服务器

H3C交换机配置信息中心将日志发送到日志服务器

1069 0
|
存储 数据采集 Kubernetes
|

文件存储CPFS最佳实践-轻舟智航

通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

701 2
|
存储 Cloud Native 对象存储
|

当云原生成为一种显学,对象存储和数据湖如何顺势而为

本文主要介绍云原生以及对象存储如何支持云原生。

466 0
我要发布
http://www.vxiaotou.com