备案控制台
开发者社区 弹性计算 云服务器ECS 文章 正文

ILM 索引生命周期管理

2023-09-14 81
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云服务器 ECS，每月免费额度200元 3个月
推荐场景：
部署并使用Docker 快速搭建云上博客 搭建微信小程序
云服务器ECS，u1 2核4GB 1个月
推荐场景：
搭建2048小游戏 搭建turtle画布 搭建wiki知识库
简介： 本场景主要介绍了如何通过 Index Lifecycle Management（索引生命周期管理，简称 ILM）管理 Elasticsearch 中的索引。

ILM 索引生命周期管理


1. 创建资源

开始实验之前，您需要先创建实验相关资源。

  1. 在实验室页面，单击创建资源。
  2. （可选）在实验室页面左侧导航栏中，单击云产品资源列表，可查看本次实验资源相关信息（例如IP地址、子用户信息等）。

说明：资源创建过程需要3～5分钟（视资源不同开通时间有所差异，ACK等资源开通时间较长）。完成实验资源的创建后，您可以在云产品资源列表查看已创建的资源信息，例如：子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等。

实验环境一旦开始创建则进入计时阶段，建议学员先基本了解实验具体的步骤、目的，真正开始做实验时再进行创建。

资源创建成功，可在左侧的资源卡片中查看相关资源信息以及RAM子账号信息

2. 部署冷热分层集群

在 Elasticsearch 7.10 中引入了 data tiers（数据层）的概念，对数据节点类型做进一步的细分，分为 data_content, data_host, data_warm, data_cold, data_frozen，同一数据层的节点通常拥有相同硬件配置和性能。不同数据层的定义如下：

  • 内容层（content tier）： 内容层往往存储常态化的数据，与时间序列数据不同，这类数据的价值随着时间的推移相对保持恒定，例如产品目录或者商品种类。
  • 热层（hot tier）： 热层存储最新的时间序列数据，这类数据也是被查询最多的数据，因此热层中的节点在写入和读取时都需要快速，因此热层的节点通常拥有更好的 CPU、内存资源和更快的存储（例如 SSD 固态硬盘）。
  • 温层（warm tier）： 一旦查询查询时间序列数据的频率开始低于热层中最近写入的数据，那么便可以将这些数据转移至温层。温层通常保留最近几周的数据，一般不会再对这些数据进行更新，温层的节点不需要像热层中的节点一样快。
  • 冷层（cold tier）： 冷层存储访问频率较低的数据，我们通常会将冷层的数据设置为只读的，并且随着数据过渡到冷层，还可以对其进行压缩和去副本以节省存储空间。
  • 冻结层（frozon tier）： 一旦数据不再被查询，便可以将数据从冷层移动到冻结层。在冻结层中可以选择以挂载索引的方式将数据存储在快照存储库中，可以省去副本的存储空间，当需要搜索时，再去快照存储库中提取数据，因此查询的速度通常较慢。

需要确保集群中至少有一个 data_hot 和 data_content 节点，即使它们是同一个节点，否则新索引将无法被分配。 新创建的索引默认将分配到 data_content 节点上。

在本实验中，我们将部署一个由 4 个节点组成的冷热分离架构的 Elasticsearch 集群，节点的角色分配如下。

节点

角色

说明

es01

master, data_content, data_hot

内容层，热层

es02

master, data_content, data_hot

内容层，热层

es03

master, data_warm

温层

es04

master, data_cold

冷层

首先执行以下命令修改系统参数以满足 Elasticsearch 的运行条件。

# 增加进程可使用的最大内存映射区域数
cat >> /etc/sysctl.conf << EOF
vm.max_map_count=262144
EOF
sysctl -p
# 增加进程可使用的最大文件描述符数量
cat >> /etc/security/limits.conf  << EOF
elastic - nofile  65535
EOF
ulimit -n 65535

为了方便实验，本节采用 Docker Compose 的方式快速部署 Elasticsearch 集群。执行如下命令，安装 Docker 和 Docker Compose。

curl -sSL https://get.daocloud.io/docker | sh
apt install -y docker-compose

执行如下命令，获取 docker-compose.yml 配置文件，并在后台启动 Elasticsearch 集群。

apt install -y git
git clone https://gitee.com/cr7258/elastic-lab.git
cd elastic-lab/2_ilm/
docker-compose up -d

执行 docker-compose ps 命令查看容器运行状态，其中 2ilm_setup_1 容器是用于创建证书以及设置 elastic 和 kibana_system 用户密码的，执行完毕后会自动退出，我们需要确保其他容器处于 Up 状态。

3. 设置 ILM 策略

浏览器输入 http://<ESC 公网 IP>:5601 访问 Kibana 界面。输入用户名 elastic，密码 elastic123，点击 Login in。其中密码是在 elastic-lab/2_ilm/.env 文件中设置的。

点击 Management -> Dev Tools -> Console，打开 Kibana Console 界面。ILM 服务会在后台定期轮询执行 Policy，默认的时间间隔为 10 分钟，为了测试更快地看到效果，这里将其修改为 1 秒。

PUT _cluster/settings
{
  "persistent": {
    "indices.lifecycle.poll_interval":"1s"
  }
}

接下来设置 ILM 策略，包含以下 4 个阶段：

  • Hot 阶段：超过 5 个文档以后 rollover 创建新的索引。
  • Warm 阶段：60s 后进入 warm 阶段，将副本分片数缩减为 0。
  • Cold 阶段：120s 后进入 cold 阶段，将索引设置为只读。
  • Delete 阶段：180s 后进入 delete 阶段，删除索引。

PUT _ilm/policy/log-ilm-policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0s",
        "actions": {
          "rollover": {
            "max_docs": 5  // 超过 5 个文档以后 rollover 创建新的索引
          },
          "set_priority": {
            "priority": 100 // 优先级最高，当节点重启后优先恢复 hot 阶段的索引
          }
        }
      },
      "warm": {
        "min_age": "60s", // 60s 后进入 warn 阶段
        "actions": {
          "allocate": {
            "number_of_replicas": 0 // 将副本分片数缩减为 0
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "cold": {
        "min_age": "120s", // 120s 后进入 cold 阶段
        "actions": {
          "readonly" : {}, // 将索引设置为只读
          "set_priority": {
            "priority": 0
          }
        }
      },
      "delete": {
        "min_age": "180s", // 180s 后删除索引
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

4. 设置索引模板

创建索引模板，匹配 log-index- 开头的索引，关联 ILM 策略和别名，新索引的主分片数和副本分片数都设置为 1。索引模板是预先定义好的在创建新索引时自动应用的模板，在索引模板中可以定义在创建索引时为索引添加的别名、设置、字段映射以及索引应用的 ILM 策略等内容。

PUT _index_template/log-template
{
  "index_patterns" : [
      "log-index-*" // 通配符匹配索引
    ],
  "template": {
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",  // 应用 ILM 策略
          "rollover_alias" : "log-index" // 指定 rollover 别名
        },
        "number_of_shards" : "1", // 主分片数
        "number_of_replicas" : "1"  // 副本分片数
      }
    }
  }
}

5. 创建符合模板的起始索引

创建第一个索引 log-index-000001，设置索引别名为 log-index，后续在 rollover 滚动更新索引时，索引名会根据最后的序号递增，例如 log-index-000002，log-index-000003，log-index-000004 ...。is_write_index 参数设置为 true 表示往别名发送的写请求将发送到 log-index-000001 索引上。当发生 Rollover 时，Elasticsearch 会自动将新创建的索引的 is_write_index 参数设置为 true，同时将旧索引的 is_write_index 参数设置为 false，以确保往别名写入时只写入同一个索引。

PUT log-index-000001
{
"aliases": {
  "log-index": {
    "is_write_index": true 
  }
 }
}

查看别名 log-index，可以看到该别名下目前只有 1 个索引 log-index-000001，该索引处于可写的状态，并且应用了我们设置的 ILM 策略。当新建索引时，默认情况下，Elasticsearch 会将 index.routing.allocation.include._tier_preference 参数设置为 data_content，以将索引分片自动分配给内容层。

GET log-index
# 返回结果
{
"log-index-000001" : {
  "aliases" : {
    "log-index" : {
      "is_write_index" : true // 可写
    }
  },
  "mappings" : { },
  "settings" : {
    "index" : {
      "lifecycle" : { // 应用 ILM 策略
        "name" : "log-ilm-policy",
        "rollover_alias" : "log-index"
      },
      "routing" : {
        "allocation" : {
          "include" : {
            "_tier_preference" : "data_content" // 分片分配到内容层上
          }
        }
      },
      "number_of_shards" : "1",
      "provided_name" : "log-index-000001",
      "creation_date" : "1657374734018",
      "priority" : "100",
      "number_of_replicas" : "1",
      "uuid" : "kOXmUzVlRRmTZJfBxolpmg",
      "version" : {
        "created" : "8020399"
      }
    }
  }
 }
}

6. 插入数据，观察效果

浏览器输入 http://<ESC 公网 IP>:9000 访问 Cerebro，在 Node address 输入框内填入 https://es01:9200，然后点击 Connect 连接 Elasticsearch 集群。

输入用户名 elastic，密码 elastic123，点击 Authenticate。

往索引中插入 5 条数据，然后观察 ILM 策略的执行效果。

POST log-index/_bulk
{"index":{}}
{"name":"Erlend","age":16}
{"index":{}}
{"name":"Brynjar","age":18}
{"index":{}}
{"name":"Fox","age":18}
{"index":{}}
{"name":"Frank","age":23}
{"index":{}}
{"name":"Sam","age":18}
// 手动触发段合并，让 Elasticsearch 更快监测到文档数量的变化
POST log-index/_forcemerge

等待一会 Elasticsearch 发现 log-index-000001 索引中的文档数达到 5 个，会触发 Rollover，创建新的索引 log-index-000002。

往别名发起的写入请求将会写入 log-index-000002 索引中。当然此时你仍然可以指定往 log-index-000001 索引中写入数据。

GET log-index
# 返回结果
{
  "log-index-000001" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : false // 被改为 false 了
      }
    },
    "mappings" : {
      "properties" : {
        "age" : {
          "type" : "long"
        },
        "name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index",
          "indexing_complete" : "true"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "log-index-000001",
        "creation_date" : "1657374734018",
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "kOXmUzVlRRmTZJfBxolpmg",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  },
  "log-index-000002" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : true // 往别名发起的写入请求将发给 log-index-000002 索引
      }
    },
    "mappings" : { },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "log-index-000002",
        "creation_date" : "1657374971168",
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "tT1hbzQxQH2Ms5luQki6gw",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  }
}

等待 60s，log-index-000001 索引进入 Warm 阶段，索引分片移动到 es03 节点上，此时只保留了主分片，副本分片缩减为 0。

此时发现 log-index-000001 索引的 index.routing.allocation.include._tier_preference 参数被修改为了 data_warm,data_hot，当存在 data_warm 角色的节点，则将索引分配给温层；如果不存在 data_warm 角色的节点，则将索引分配给热层。

GET log-index
# 返回结果
{
  "log-index-000001" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : false
      }
    },
    "mappings" : {
      "properties" : {
        "age" : {
          "type" : "long"
        },
        "name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index",
          "indexing_complete" : "true"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_warm,data_hot" // 优先分配到温层
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "log-index-000001",
        "creation_date" : "1657374734018",
        "priority" : "50",
        "number_of_replicas" : "0",
        "uuid" : "kOXmUzVlRRmTZJfBxolpmg",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  },
  "log-index-000002" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : true
      }
    },
    "mappings" : { },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "log-index-000002",
        "creation_date" : "1657374971168",
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "tT1hbzQxQH2Ms5luQki6gw",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  }
}

等待 120s，log-index-000001 索引进入 Cold 阶段，索引分片移动到 es04 节点上，此时索引被设置为只读状态。

此时发现 log-index-000001 索引的 index.routing.allocation.include._tier_preference 参数被修改为了 data_cold,data_warm,data_hot，索引将会被优先分配到冷层，如果没有 data_cold 角色的节点，再依次考虑分配到温层或者热层。

GET log-index
# 返回结果
{
  "log-index-000001" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : false
      }
    },
    "mappings" : {
      "properties" : {
        "age" : {
          "type" : "long"
        },
        "name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index",
          "indexing_complete" : "true"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_cold,data_warm,data_hot" // 优先分配到冷层
            }
          }
        },
        "number_of_shards" : "1",
        "blocks" : {
          "write" : "true"
        },
        "provided_name" : "log-index-000001",
        "creation_date" : "1657374734018",
        "priority" : "0",
        "number_of_replicas" : "0",
        "uuid" : "kOXmUzVlRRmTZJfBxolpmg",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  },
  "log-index-000002" : {
    "aliases" : {
      "log-index" : {
        "is_write_index" : true
      }
    },
    "mappings" : { },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "log-ilm-policy",
          "rollover_alias" : "log-index"
        },
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "log-index-000002",
        "creation_date" : "1657374971168",
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "tT1hbzQxQH2Ms5luQki6gw",
        "version" : {
          "created" : "8020399"
        }
      }
    }
  }
}

等待 180s，log-index-000001 索引被删除。至此完成了整个索引生命周期流程。

实验地址：/adc/scenario/5d86a903f72b49c88dd9730be7f45093

文章标签：
检索分析服务 Elasticsearch版
索引
存储
容器
数据安全/隐私保护
Docker
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
ftw2fzqaoykua
目录
相关文章
夏之以寒
|
5天前
|
JSON 监控 数据管理
【Elasticsearch专栏 12】深入探索：Elasticsearch使用索引生命周期管理（ILM）自动化删除旧数据
Elasticsearch的ILM功能允许用户定义策略，自动管理索引从创建到删除的生命周期。用户可以设置策略，根据索引年龄或大小自动删除旧数据，节省存储空间。通过应用ILM策略于索引模板，新索引将遵循预定义的生命周期。用户还可以监控ILM状态，确保策略按预期执行。使用ILM，用户可以高效地管理数据，确保旧数据及时删除，同时保持数据完整性和安全性。
夏之以寒
79 3
zlt2000
|
存储 JSON 安全
Elasticsearch索引生命周期管理方案
本文主要介绍Elasticsearch索引生命周期管理如何配置和使用
zlt2000
781 1
Elasticsearch索引生命周期管理方案
铭毅天下
|
5天前
|
存储 数据库 索引
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
铭毅天下
12 0
醉鱼Java
|
5天前
|
安全 API Docker
索引生命周期管理ILM看完不懂你锤我
索引生命周期管理ILM看完不懂你锤我
醉鱼Java
32 0
techgeek
|
11月前
|
关系型数据库 MySQL 大数据
索引使用策略
索引使用策略
techgeek
59 0
wu@55555
|
索引
Elastic: ILM与rollover的关系
两者本身是无关系的，是独立的两个知识点，并不存在一定要配置了其中一个，才能使用另外一个的情况。 只是说我们日常使用中，经常将两者配合起来使用。而当我们在ILM中开启了rollover后，流转到下一节点的min_age是在rollover触发后才开始计时的，也就是说如果我们在rollover中设置3分钟后rollover，而在warm节点的min_age设置了4分钟，那么索引创建后需要7分钟才会流转到warm节点
wu@55555
116 0
星繁
|
存储 缓存 运维
ES索引生命周期管理ILM
ES索引生命周期管理ILM
星繁
504 0
星繁
|
存储 索引
es对日志数据进行索引生命周期管理
es对日志数据进行索引生命周期管理
星繁
533 0
Se7en
|
安全 Docker 索引
Elasticsearch 索引生命周期管理
Elasticsearch 索引生命周期管理
Se7en
269 0
Elasticsearch 索引生命周期管理
铭毅天下
|
存储 固态存储 API
干货 | Elasticsearch 索引生命周期管理 ILM 实战指南
1、什么是索引生命周期？ 关于人生，有人这么说：“人，生来一个人，死去一个人，所以，人生就是一个人生老病死的简称。”
铭毅天下
1375 0
干货 | Elasticsearch 索引生命周期管理 ILM 实战指南
弹性计算

云服务器ECS

热门文章

最新文章

  • 1
    ECS 支持 IPv6 啦，快来尝鲜吧~
  • 2
    云服务器ECS安全组实践(一）
  • 3
    VPC实例公网IP转弹性公网IP功能
  • 4
    省钱小贴士（ECS）：教你如何每年省出8w+ 块
  • 5
    【F3使用场景】F3经典使用场景
  • 6
    ECS 新版移动端购买发布啦！！！
  • 7
    安全组设置内网互通的方法
  • 8
    扫盲人工智能的计算力基石--异构计算
  • 9
    标记(TAG)您的阿里云ECS资源
  • 10
    谁动了我的实例&磁盘 -- ECS主动运维历史事件查询
  • 1
    阿里云服务器通用型g8i实例最新收费标准与性能介绍
    13
  • 2
    linux播放器
    18
  • 3
    阿里云服务器计算型、通用型、内存型主要实例规格特点、适用场景及最新价格参考
    30
  • 4
    阿里云中小企业专享上云权益与上云抵扣金申请流程参考
    43
  • 5
    阿里云服务器计算型c8i实例最新收费标准与性能介绍
    60
  • 6
    应用阿里云弹性计算：打造高可用性云服务器ECS架构
    72
  • 7
    阿里云服务器租用价格参考，云服务器收费标准与实时活动价格整理
    117
  • 8
    阿里云服务器实例规格选型参考，根据上云场景选择适合自己的实例规格
    61
  • 9
    阿里云目前活动内各云服务器实例规格适用场景与价格参考
    91
  • 10
    nginx 302 301 设置 url 转跳 nginx 资源重定向 nginx tcp 和 http 转发
    71

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册

    • 相关实验场景

    更多
  • ILM 索引生命周期管理
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考
    http://www.vxiaotou.com