镜像即代码:基于Packer构建阿里云镜像

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
云服务器(按量付费),48vCPU 186GiB
简介: Packer是HashiCorp推出的一款工具,旨在提供简易的方式自动化构建镜像。

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

什么是Packer

PackerHashiCorp推出的一款工具,旨在提供简易的方式自动化构建镜像。通过Packer,你只需要在配置文件中指明镜像构建所需的基本信息及期望安装到镜像中的软件及配置,即可通过自动化脚本构建所需的镜像。由于构建镜像的过程被固化成了配置文件,每一个步骤都清晰可见易于回溯,无需担心多次构建得到的镜像存在不一致。且镜像构建配置化后,将为测试和更新镜像带来极大的便利,大大降低运维和管理镜像的成本。

在具体介绍Packer的使用方法之前,我们先来看下以前在阿里云ECS上如何手动创建一个自定义镜像。如果对这个流程已非常熟悉,可以直接跳到通过Packer构建镜像一节。

注意:后续操作会创建一些收费资源,请注意释放和清理,如实例、公网IP、快照等。

实例规格和镜像会随着时间的推移不断更新,本文后续提到的一些规格和镜像可能会在未来下线,所以具体操作流程可以根据实际情况选择不同的规格、镜像或者其他实例相关的资源。

手动创建自定义镜像

简单起见,假设我们需要在阿里云北京地域构建一个CentOS 7.3的镜像,其中需要安装redis,其他方面无特定需求,则整个创建步骤如下所示:

  1. 打开ECS售卖页,从上到下依次选择按量付费 => 华北2(北京) => ecs.t5-lc1m1.small => 公共镜像CentOS 7.3 64位,点击页面右下方下一步:网络和安全组
  2. 继续选择专有网络 => 公网带宽 => 安全组,点击页面右下方下一步:系统配置
  3. 继续选择秘钥对,如不存在需要新建秘钥对,便于后续通过秘钥连接实例。其余配置保持默认,点击页面右下方确认订单创建实例
  4. 购买流程完成后,可在ECS控制台华北2(北京)地域看到新建的实例,稍等片刻待实例状态变成运行中。
  5. 连接并登陆新创建的实例,通过命令行安装redis。连接方式可参照使用SSH密钥对连接Linux实例一文。
  6. 安装完成后回到控制台实例列表,点击对应实例右侧更多 => 磁盘和镜像 => 创建自定义镜像,等待自定义镜像创建完成。
  7. 最后清理不需要的资源,释放实例、公网IP(如果是弹性公网IP)。如果需要,可以进一步删除VPC、安全组等仅用于测试的资源。

上述过程实际上简化了镜像内最为关键的软件及其配置部分,实际上该过程会随着镜像内需预装的软件及其配置不断扩充变得愈发复杂。通过人肉保证每一次操作都准确无误,和之前毫无偏差,会是一件非常困难的事情,更别提之后的维护和更新了。接下来我们将看到如何通过Packer自动化地完成上述镜像构建构成。

通过Packer构建镜像

如上所述,Packer通过配置文件记录镜像构建过程中所需的所有细节。如下alicloud.json便是用于完成手动创建自定义镜像一节需求所需的配置文件。

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_basic",
    "source_image":"centos_7_03_64_20G_alibase_20170818.vhd",
    "ssh_username":"root",
    "instance_type":"ecs.t5-lc1m1.small",
    "internet_charge_type":"PayByTraffic",
    "io_optimized":"true"
  }],
  "provisioners": [{
    "type": "shell",
    "inline": [
      "sleep 30",
      "yum install redis.x86_64 -y"
    ]
  }]
}

其中:

  1. variables中定义了builders中会用到的两个变量access_keysecret_key。 这两个变量的值取自运行时的环境变量,这是为了防止意外将AK写到配置文件中造成遗漏。
  2. builders中表明使用的是Alicloud Image Builder。该Builder用于在阿里云上创建自定义镜像。其他则为创建镜像所需要的一些信息,包括AK、地域、镜像名称、源镜像、登陆名、实例规格、公网计费方式和IO优化。
  3. provisioners定义了需要在实例内执行的操作。这里用到Shell Provisioner,表示在连接实例后执行一段shell脚本安装redis。

安装Packer的过程详见官网Getting Started,此处不再赘述。假设Packer已经安装成功,执行packer build alicloud.json完成镜像构建,整个构建过程需要耗费一些时间,构建过程中产生的日志如下所示:

alicloud-ecs output will be in this color.

==> alicloud-ecs: Prevalidating image name...
    alicloud-ecs: Found image ID: centos_7_03_64_20G_alibase_20170818.vhd
==> alicloud-ecs: Creating temporary keypair: packer_xxx
==> alicloud-ecs: Creating vpc
==> alicloud-ecs: Creating vswitch...
==> alicloud-ecs: Creating security groups...
==> alicloud-ecs: Creating instance.
==> alicloud-ecs: Allocating eip
==> alicloud-ecs: Allocated eip xxx
    alicloud-ecs: Attach keypair packer_xxx to instance: i-xxx
==> alicloud-ecs: Starting instance: i-xxx
==> alicloud-ecs: Using ssh communicator to connect: ***
==> alicloud-ecs: Waiting for SSH to become available...
==> alicloud-ecs: Connected to SSH!
==> alicloud-ecs: Provisioning with shell script: /var/folders/k_/nv2r4drx3bs08l6tcx06ndb40000gn/T/packer-shell260049331
    alicloud-ecs: Loaded plugins: fastestmirror
    alicloud-ecs: Determining fastest mirrors
    alicloud-ecs: Resolving Dependencies
    alicloud-ecs: --> Running transaction check
    alicloud-ecs: ---> Package redis.x86_64 0:3.2.12-2.el7 will be installed
    alicloud-ecs: --> Processing Dependency: libjemalloc.so.1()(64bit) for package: redis-3.2.12-2.el7.x86_64
    alicloud-ecs: --> Running transaction check
    alicloud-ecs: ---> Package jemalloc.x86_64 0:3.6.0-1.el7 will be installed
    alicloud-ecs: --> Finished Dependency Resolution
    alicloud-ecs:
    alicloud-ecs: Dependencies Resolved
    alicloud-ecs:
    alicloud-ecs: ================================================================================
    alicloud-ecs:  Package           Arch            Version                  Repository     Size
    alicloud-ecs: ================================================================================
    alicloud-ecs: Installing:
    alicloud-ecs:  redis             x86_64          3.2.12-2.el7             epel          544 k
    alicloud-ecs: Installing for dependencies:
    alicloud-ecs:  jemalloc          x86_64          3.6.0-1.el7              epel          105 k
    alicloud-ecs:
    alicloud-ecs: Transaction Summary
    alicloud-ecs: ================================================================================
    alicloud-ecs: Install  1 Package (+1 Dependent package)
    alicloud-ecs:
    alicloud-ecs: Total download size: 648 k
    alicloud-ecs: Installed size: 1.7 M
    alicloud-ecs: Downloading packages:
    alicloud-ecs: --------------------------------------------------------------------------------
    alicloud-ecs: Total                                              2.2 MB/s | 648 kB  00:00
    alicloud-ecs: Running transaction check
    alicloud-ecs: Running transaction test
    alicloud-ecs: Transaction test succeeded
    alicloud-ecs: Running transaction
    alicloud-ecs:   Installing : jemalloc-3.6.0-1.el7.x86_64                                  1/2
    alicloud-ecs:   Installing : redis-3.2.12-2.el7.x86_64                                    2/2
    alicloud-ecs:   Verifying  : redis-3.2.12-2.el7.x86_64                                    1/2
    alicloud-ecs:   Verifying  : jemalloc-3.6.0-1.el7.x86_64                                  2/2
    alicloud-ecs:
    alicloud-ecs: Installed:
    alicloud-ecs:   redis.x86_64 0:3.2.12-2.el7
    alicloud-ecs:
    alicloud-ecs: Dependency Installed:
    alicloud-ecs:   jemalloc.x86_64 0:3.6.0-1.el7
    alicloud-ecs:
    alicloud-ecs: Complete!
==> alicloud-ecs: Stopping instance: i-xxx
==> alicloud-ecs: Waiting instance stopped: i-xxx
==> alicloud-ecs: Creating image: packer_basic
    alicloud-ecs: Detach keypair packer_xxx from instance: i-xxx
==> alicloud-ecs: Cleaning up 'EIP'
==> alicloud-ecs: Cleaning up 'instance'
==> alicloud-ecs: Cleaning up 'security group'
==> alicloud-ecs: Cleaning up 'vSwitch'
==> alicloud-ecs: Cleaning up 'VPC'
==> alicloud-ecs: Deleting temporary keypair...
Build 'alicloud-ecs' finished.

==> Builds finished. The artifacts of successful builds are:
--> alicloud-ecs: Alicloud images were created:

cn-beijing: m-xxx

上述日志较为完整得给出了Packer构建过程中执行的每一个步骤:从校验参数、创建临时资源、预安装软件、创建目标资源到最后的释放临时资源,所有的过程一气呵成,而这仅仅只需预装好Packer以及定义好相应的配置文件。接下来将针对一些实际DevOps场景会用到的一些配置进行必要的说明以供参考,更多参数和样例详见Alicloud Image BuilderExamples

DevOps常用配置

镜像标签(tags)

当所要管理的镜像达到一定的数量时,对镜像进行适当的标记就变得很有必要,比如记录镜像版本号、镜像包含的应用类型等。通过为镜像打上标签是达到上述目的绝佳手段,阿里云Builder提供了tags参数以支持此类需求。如下配置文件将为最终生成的镜像和对应的快照打上version=v1.0.0app=web两个标签。

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_basic",
    "source_image":"centos_7_03_64_20G_alibase_20170818.vhd",
    "ssh_username":"root",
    "instance_type":"ecs.t5-lc1m1.small",
    "internet_charge_type":"PayByTraffic",
    "io_optimized":"true",
    "tags": {
      "version": "v1.0.0",
      "app": "web"
    }
  }]
}

控制台镜像列表页面和API DescribeImages均支持查询镜像时返回标签以及根据标签过滤镜像。但为镜像打上标签真正强大的地方在于能够和Terraform一起为标准化的DevOps流程提供支持。Terraform的内容超出了本文讨论的范畴,在此不再展开。这里推荐Alibaba Cloud DevOps tutorials系列教程,其中讲解了一些企业DevOps过程中的最佳实践,其中涉及Terraform和Packer的内容参见Continuous Delivery一节。

让镜像只包含系统盘(image_ignore_data_disks)

默认情况下Packer直接从实例创建镜像,而从实例创建镜像时如果包含数据盘,则镜像会同时包含数据盘快照。在构建过程中创建包含数据盘的实例通常有两种方式:一是通过image_disk_mappings设置数据盘相关参数,二是选择默认带有数据盘的实例规格。其中后者涉及的规格包含的数据盘大多为本地盘,如ecs.d1ne.2xlarge,而本地盘当前并不支持创建快照,进而也无法直接通过此类实例创建镜像。即便如此,很多场景下为了满足某些方面的性能需求,用户依然会选择这类实例规格,但实际上数据盘部分并不是必须的。此时就可以在配置文件中加上"image_ignore_data_disks": "true"实现只基于系统盘来创建镜像。

设置快照超时时间(wait_snapshot_ready_timeout)

镜像依赖于快照,而快照的创建时间依赖于磁盘大小。当磁盘较大时,创建快照所需要的时间也会相应的增加。默认情况下,轮询快照的超时时间为3600s。如果由于磁盘太大导致超时,则可以通过wait_snapshot_ready_timeout调大超时时间。

通过私网IP连接实例(ssh_private_ip)

默认情况下,Packer创建EIP并绑定到实例上,然后通过EIP对应的公网IP连接实例安装软件或执行命令。但在一些场景下,用户可以直接通过私网IP连接实例,此时公网IP就会显得多余。此时可以通过设置"ssh_private_ip": "true",该设置下Packer将不会分配EIP或者公网IP,而是直接尝试通过私网IP连接实例。

停止实例选项(disable_stop_instance)

默认情况下,Packer在执行完provisioners后,会先停止实例然后创建镜像。但如果设置了"disable_stop_instance": "true",Packer将不会主动去停止实例,而是假设配置中提供的指令会自行停止实例,以满足一些特殊场景,如Sysprep一个Windows实例。Sysprep的一个使用场景可参照修改Windows实例SID以搭建域环境

通过UserData启用WinRM

出于安全考虑,Windows镜像默认关闭了WinRM。但连接Windows实例及之后在实例内部执行命令都依赖于WinRM,所以需要在实例创建时启用WinRM,而这可以通过UserData来完成。启用WinRM的Userdata文件内容详见winrm_enable_userdata.ps1,Packer则通过配置user_data_file指定UserData文件路径。跟WinRM相关的参数还包括"communicator": "winrm""winrm_port": 5985"winrm_username": "Administrator""winrm_password": "Test1234",分别表示通过WinRM连接实例、连接端口为5985、连接时使用Administrator账户,密码采用Test1234。以下配置文件提供了基于Windows的一个简单示例:

{
  "variables": {
    "access_key": "{{env `ALICLOUD_ACCESS_KEY`}}",
    "secret_key": "{{env `ALICLOUD_SECRET_KEY`}}"
  },
  "builders": [{
    "type":"alicloud-ecs",
    "access_key":"{{user `access_key`}}",
    "secret_key":"{{user `secret_key`}}",
    "region":"cn-beijing",
    "image_name":"packer_test",
    "source_image":"win2008r2_64_ent_sp1_zh-cn_40G_alibase_20181220.vhd",
    "instance_type":"ecs.n1.tiny",
    "io_optimized":"true",
    "internet_charge_type":"PayByTraffic",
    "image_force_delete":"true",
    "communicator": "winrm",
    "winrm_port": 5985,
    "winrm_username": "Administrator",
    "winrm_password": "Test1234",
    "user_data_file": "examples/alicloud/basic/winrm_enable_userdata.ps1"
  }],
  "provisioners": [{
    "type": "powershell",
    "inline": ["dir c:\\"]
  }]
}

其中image_force_delete表示如果已存在同名镜像则先删除,并假定UserData文件在给定的相对路径下。provisioners内的指令只用做在实例内调用命令的示例,可根据实际情况填写。

从ISO到阿里云镜像

ISO文件需要在线下虚拟化环境安装完成后,生成对应格式的镜像文件再导入到阿里云(当前支持QCOW2、VHD和RAW三种格式的文件导入阿里云)。如果线下环境为qemu,可参照使用Packer创建并导入本地镜像一文。其中包含两个重要的部分,首先需要使用对应虚拟化环境或软件对应的Builder,如上文中使用的是Qemu Builder。其次,通过定义Alicloud Import Post-Processor将前面生成的镜像文件导入到阿里云。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
基于阿里云,构建一个企业web应用上云经典架构,让IT从业者体验企业级架构的实战训练。
高可用应用架构
欢迎来到“高可用应用架构”课程,本课程是“弹性计算Clouder系列认证“中的阶段四课程。本课程重点向您阐述了云服务器ECS的高可用部署方案,包含了弹性公网IP和负载均衡的概念及操作,通过本课程的学习您将了解在平时工作中,如何利用负载均衡和多台云服务器组建高可用应用架构,并通过弹性公网IP的方式对外提供稳定的互联网接入,使得您的网站更加稳定的同时可以接受更多人访问,掌握在阿里云上构建企业级大流量网站场景的方法。 学习完本课程后,您将能够: 理解高可用架构的含义并掌握基本实现方法 理解弹性公网IP的概念、功能以及应用场景 理解负载均衡的概念、功能以及应用场景 掌握网站高并发时如何处理的基本思路 完成多台Web服务器的负载均衡,从而实现高可用、高并发流量架构
目录
相关文章
|
17天前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
5天前
|
弹性计算 运维 负载均衡
【阿里云弹性计算】阿里云ECS在金融科技中的应用案例:高性能交易系统的构建
【5月更文挑战第27天】阿里云ECS助力某证券公司构建高性能交易系统,满足高并发、高可用和弹性扩展需求。ECS凭借最新处理器技术、高速内存实现高性能计算;支持多地域、多可用区部署保证高可用性;弹性伸缩特性适应业务波动,降低运维成本。通过分布式架构和负载均衡技术,实现交易请求高效处理,确保系统稳定运行。案例证明,阿里云ECS是金融科技领域构建高性能交易系统的理想选择。
25 1
|
5天前
|
SQL 监控 安全
【阿里云云原生专栏】云原生安全体系构建:阿里云云防火墙与WAF的应用
【5月更文挑战第27天】阿里云云防火墙和WAF是构建云原生安全体系的关键产品,提供网络、主机和Web应用多维度防护。云防火墙采用分布式架构抵御网络攻击,确保应用安全稳定;WAF专注Web应用安全,防止SQL注入、XSS和DDoS等威胁。简单部署配置,结合使用可实现全面安全防护,提升企业云上应用安全性,保障业务安全运行。未来,阿里云将持续强化云原生安全建设。
120 1
|
6天前
|
弹性计算 缓存 安全
【阿里云弹性计算】阿里云ECS与CDN结合:构建高性能全球内容分发网络
【5月更文挑战第26天】阿里云ECS与CDN结合打造高性能全球内容分发网络,通过ECS的弹性伸缩和安全可靠性,配合CDN的全球覆盖、高可用性及安全防护,提升访问速度,减轻服务器压力,优化数据传输。以WordPress为例,通过配置CDN域名和ECS,实现高效内容分发,提高系统扩展性和稳定性。此解决方案满足用户对访问速度和稳定性的高要求,为企业提供优质的云计算体验。
32 0
|
8天前
|
人工智能 弹性计算 监控
【阿里云云原生专栏】阿里云云原生与AI结合:智能应用的快速构建与部署
【5月更文挑战第24天】阿里云融合云原生和AI技术,助力快速构建智能应用。弹性伸缩、CI/CD、微服务和自动化运维带来优势。通过需求分析、环境准备、数据处理、模型开发到服务部署,阿里云提供容器服务、函数计算、服务网格等工具,支持自动化测试和监控,实现一站式智能应用开发。示例代码展示创建ACK集群和部署AI模型服务过程。
294 1
|
9天前
|
弹性计算 监控 安全
【阿里云弹性计算】ECS实例监控与告警系统构建:利用阿里云监控服务保障稳定性
【5月更文挑战第23天】在数字化时代,阿里云弹性计算服务(ECS)为业务连续性提供保障。通过阿里云监控服务,用户可实时监控ECS实例的CPU、内存、磁盘I/O和网络流量等指标。启用监控,创建自定义视图集中显示关键指标,并设置告警规则(如CPU使用率超80%),结合多种通知方式确保及时响应。定期维护和优化告警策略,利用健康诊断工具,能提升服务高可用性和稳定性,确保云服务的卓越性能。
20 1
|
11天前
|
Cloud Native Java 关系型数据库
【阿里云云原生专栏】构建云原生应用:基于Spring Boot与阿里云服务的全栈指南
【5月更文挑战第21天】构建云原生应用是企业数字化转型的关键,本文提供了一份基于Spring Boot和阿里云的全栈指南。涵盖从阿里云账号注册、ECS与Docker搭建,到Spring Boot项目创建、业务代码编写和部署。此外,还介绍了如何集成阿里云OSS存储、RDS数据库服务以及ACK容器服务,助力打造高效、可扩展和易管理的云原生应用。
134 3
|
17天前
|
安全 Devops 测试技术
深入了解阿里云云效DevOps:构建高效软件开发实践
阿里云云效DevOps,集成CI/CD与自动化测试,提升开发效率。支持持续集成确保代码质量,自动化测试加速交付,多环境及灰度发布保障安全可靠性。助团队构建高效开发实践,增强竞争力。
42 1
|
17天前
|
Java Linux 数据安全/隐私保护
Docker自定义JDK镜像并拉取至阿里云镜像仓库全攻略
Docker自定义JDK镜像并拉取至阿里云镜像仓库全攻略
206 0
|
17天前
|
人工智能 自然语言处理 IDE
如何让阿里云AI001号员工帮我写代码(含IDEA插件使用)
AI 智能时代,将改变所有人的思维方式,学习方式,更注重人的创造力和思考力,如果你懒,你将会被 AI 替代,如果你只想干简单不用动脑的活,你将会被 AI 替代,如果你只会打螺丝,更会被 AI 替代。当下的 AI 人工智能时代,被认为是第四次工业革命的到来,我们更应该看到的是机会,而非跳进焦虑、困惑、悲观的一群人潮中。
http://www.vxiaotou.com