flink forward asia 2023主论坛
Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线厂商围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。
DataWorks常见问题之打开执行后费率计算预估弹窗如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
人工智能平台PAI 操作报错合集之机器学习PAI把SequenceFeature直接送入BST模块，但发现未配置sequence_combiner会报错，如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台，旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时，可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
福利「Flink Forward Asia 2023 」视频合集！
2023 年 12 月 9 日，Flink Forward Asia 2023 在北京圆满结束。本届大会共有 70+ 演讲议题、30+ 一线大厂技术与实践分享。现所有专场回放视频已经出炉，并在开发者社区上线。
四张图片道清AI大模型的发展史(1943-2023)
现在最火的莫过于GPT了，也就是大规模语言模型(LLM)。“LLM” 是 “Large Language Model”（大语言模型）的简称，通常用来指代具有巨大规模参数和复杂架构的自然语言处理模型，例如像 GPT-3（Generative Pre-trained Transformer 3）这样的模型。这些模型在处理文本和语言任务方面表现出色，但其庞大的参数量和计算需求使得它们被称为大模型。当然也有一些自动生成图片的模型，但是影响力就不如GPT这么大了。
通义千问开源模型在PAI灵骏的最佳实践
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
Trying to access array offset on value of type null
你就可以避免在null值上尝试访问数组偏移量的错误。 总的来说，当你遇到这个错误时，你应该回顾你的代码，确保在尝试访问数组偏移量之前，相关的变量已经被正确地初始化为一个数组，并且不是null。
FY24阿里云暑期夏令营精彩瞬间（上）
来自全国不同高校的学生们相聚在阿里云园区，一声同学，一份关切，情意绵长，美好永在！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
人工智能平台PAI产品使用合集之ev必须在特定的scope下定义吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
AI大模型运维开发探索第三篇：深入浅出运维智能体
大模型出现伊始，我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例，非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。
基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化
本文将分享阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在 MoE (Mixture of Experts) 大型语言模型（LLM）实现与训练优化上的创新工作。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
人工智能平台PAI产品使用合集之机器学习PAI中怎么拉到maven仓库的包
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
geatpy遗传算法包使用介绍
Geatpy是国内几所高校做的一个开源遗传算法包，是一个高性能实用型进化算法工具箱，提供许多已实现的进化算法中各项重要操作的库函数，并提供一个高度模块化、耦合度低的面向对象的进化算法框架，利用“定义问题类 + 调用算法模板”的模式来进行进化优化，可用于求解单目标优化、多目标优化、复杂约束优化、组合优化、混合编码进化优化等。
人工智能平台PAI产品使用合集之机器学习PAI中的sample_weight怎么加在样本中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之机器学习PAI-EAS部署好后，服务的公网API和URL怎么配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI 操作报错合集之pyalink 1.6.1StreamOperator.fromDataframe(out_df, out_schema_str)之后直接连kafka sink会报下面的错误如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台，旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时，可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
使用云起实验室安装Stable Diffusion报错问题的解决
因为huggingface目前国内已无法访问，按照原有的手册安装时就会报错，本文给出解决办法，以顺利完成安装和使用
LLM系列 | 19: ChatGPT应用框架LangChain实践速成
本文以实践的方式将OpenAI接口、ChatOpenAI接口、Prompt模板、Chain、Agent、Memory这几个LangChain核心模块串起来，从而希望能够让小伙伴们快速地了解LangChain的使用。
阿里通义千问大语言模型在人工智能教育领域的应用探索
阿里通义千问，阿里集团的大型预训练语言模型，应用于AI教育，实现个性化教学、自适应学习系统和智能答疑。通过AIGC，它生成个性化内容，适应不同学生需求，优化教育资源配置，推动教育创新。在教育场景中，模型提供实时反馈，定制学习路径，促进教学质量提升。随着技术进步，AI在教育领域的应用将更加深入，但也需关注伦理与安全。
【深入浅出】阿里自研开源搜索引擎Havenask变更表结构
本文介绍了Havenask的表结构变更，包括表结构简介、全量构建流程和变更表结构三个部分。表结构由schema配置，字段类型包括INT、FLOAT、STRING等，索引有倒排、正排和摘要索引。全量表变更会触发全量构建，完成后自动切换，但直写表不支持直接变更。变更过程涉及使用hape命令更新schema并触发全量build。最后还有全量构建的流程图和具体操作步骤。
Havenask进阶系列第2节：分析器
视频内的参考材料： https://github.com/alibaba/havenask/tree/main/aios/plugins/havenask_plugins/analyzer_plugins Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第2课《分析器》，共讲解4部分内容。 分析器介绍 解释分析器主要配置 实战演示 总结 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：
【一文读懂】基于Havenask向量检索+大模型，构建可靠的智能问答服务
Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎，深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内的几乎整个阿里的搜索业务。本文针对性介绍了Havenask作为一款高性能的召回搜索引擎，应用在向量检索和LLM智能问答场景的解决方案和核心优势。通过Havenask向量检索+大模型可以构建可靠的垂直领域的智能问答方案，同时快速在业务场景中进行实践及应用。
【Havenask实践篇】搭建文本检索服务
Havenask是阿里巴巴智能引擎事业部自研的开源高性能搜索引擎，深度支持了包括淘宝、天猫、菜鸟、高德、饿了么在内几乎整个阿里的搜索业务。本文举例数据库检索加速的一个简单场景，使用Havenask对数据库的文本字段建立倒排索引，通过倒排检索列提高检索性能，缩短检索耗时。
通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
本文展示了如何使用阿里云向量检索 Milvus 版和灵积（Dashscope）提供的通用千问大模型能力，快速构建一个基于专属知识库的问答系统。在示例中，我们通过接入灵积的通义千问 API 及文本嵌入（Embedding）API 来实现 LLM 大模型的相关功能。
CDNJS/UNPKG/JSDelivr 太慢用不了，换成这些国内高速镜像
npm cdn, cdnjs, unpkg, jsdelivr, zstatic, zstatic.net, s4.zstatic.net
模型推理加速系列 | 03：Pytorch模型量化实践并以ResNet18模型量化为例(附代码)
本文主要简要介绍Pytorch模型量化相关，并以ResNet18模型为例进行量化实践。
卡尔曼滤波 KF | 扩展卡尔曼滤波 EKF （思路流程和计算公式）
本文分析卡尔曼滤波和扩展卡尔曼滤波，包括：思路流程、计算公式、简单案例等。滤波算法，在很多场景都有应用，感觉理解其思路和计算过程比较重要。
LLM 系列 | 18：如何基于LangChain打造联网版ChatGPT？
今天这篇小作文是LangChain实践专题的第2篇，简单介绍LangChain的用途及如何利用LangChain将ChatGPT和搜索引擎(Google)结合起来，从而实现一个极简的联网版ChatGPT。
【技术解析 | 实践】Havenask分析器
本次分享内容为Havenask的分析器，本次课程主要分为3部分内容（分析器介绍、解释分析器主要配置、实战演示），希望本次通过分享帮助大家更好了解和使用Havenask。
Flink+Paimon+Hologres 构建实时湖仓数据分析
本文整理自阿里云高级专家喻良，在 Flink Forward Asia 2023 主会场的分享。
Havenask进阶系列第3节：UDF定制
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第3课《UDF定制》，视频中共包含以下3部分内容。 UDF介绍 UDF开发及配置讲解 实际操作演示 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：
使用Flink实时发现GitHub最热项目
通过 Flink 对 GitHub 的实时事件流进行分析，并通过报表直观展示，了解 GitHub 的最新热门趋势、特定仓库或者组织的活跃度。您可以通过本视频对 Flink SQL 基础能力和 Flink 实时处理特性有直观的初步体验。
Apache Hadoop入门指南：搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用，并引导初学者了解Hadoop的基本概念、核心组件（HDFS、YARN、MapReduce）及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境，学习者可掌握基本操作。此外，文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性，旨在为读者提供Hadoop入门指导，助其踏入大数据处理的旅程。
一站式实时数仓Hologres整体能力介绍
Hologres分析服务一体化架构与优势，新能力Serverless Computing实现大ETL任务降本，行为、画像分析等场景深耕，多种函数组合，实时数仓、离线实时一体、实时湖仓多种方案实践讲师/嘉宾简介丁烨 阿里云Hologres产品专家
EMR StarRocks 3.0：极速统一湖仓新范式平台
EMR StarRocks 线上公开课 第1期直播亮点统一极速湖仓架构的技术思考Serverless StarRocks 亮点及技术优势Serverless StarRocks 已落地案例分享Serverless StarRocks 持续演进与规划讲师简介弘锐 - 阿里云 E-MapReduce 产品专家
开源向量数据库比较：Chroma, Milvus, Faiss,Weaviate
该文探讨了向量数据库在语义搜索和RAG中的核心作用，并介绍了四个开源向量数据库：Chroma、Milvus、Faiss和Weaviate。这些数据库用于存储高维向量，支持基于相似性的快速搜索，改变了传统的精确匹配方法。文章详细比较了它们的特性，如Chroma的易用性，Milvus的存储效率，Faiss的GPU加速，和Weaviate的图数据模型。选择合适的数据库取决于具体需求，如数据类型、性能和使用场景。
SE 注意力模块 原理分析与代码实现
本文介绍SE注意力模块，它是在SENet中提出的，SENet是ImageNet 2017的冠军模型；SE模块常常被用于CV模型中，能较有效提取模型精度，所以给大家介绍一下它的原理，设计思路，代码实现，如何应用在模型中。
MaxCompute元数据使用实践--作业统计
通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图可以统计查看MaxCompute计算作业的元数据信息，方便您进行作业审计以及各类统计，指导作业性能、成本优化。
大数据项目管理：从需求分析到成果交付的全流程指南
【4月更文挑战第9天】本文介绍了大数据项目从需求分析到成果交付的全过程，包括需求收集与梳理、可行性分析、项目规划、数据准备与处理、系统开发与集成，以及成果交付与运维。文中通过实例展示了如何进行数据源接入、数据仓库建设、系统设计、算法开发，同时强调了需求理解、知识转移、系统运维的重要性。此外，还提供了Python和SQL代码片段，以说明具体技术实现。在大数据项目管理中，需结合业务和技术，灵活运用这些方法，确保项目的成功执行和价值实现。
大麦网 API 接口商品详情信息 API
为了让更多用户了解到大麦网的商品详情，并能够方便地获取相关信息，大麦网推出了商品详情 API 接口。本文将介绍大麦网商品详情 API 接口的作用、使用方法和注意事项，帮助广大开发者更加方便地接入大麦网的产品。
大数据与机器学习
大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。
