欢迎光临
我们一直在努力

cephfs中怎么实现Elasticsearch数据持久化

cephfs中怎么实现Elasticsearch数据持久化,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

一、cephfs

cephfs创建

  1. 在172.20.0.10上搭建了三节点ceph cluster

10.0.169.87         node1.cephfs-cluster (mons at {node1=10.0.169.87:6789/0})
10.0.149.141       node2.cephfs-cluster
10.0.235.158       node3.cephfs-cluster

  1. 每节点上挂在了一块300G数据云盘(采用lvm创建分区,方便以后扩容),在每个节点上将格式化后的文件系统挂载到/var/local/osd[123]

[root@node1 ~]# mount -l | grep cephfs
/dev/mapper/vg–for–cephfs-lvm–for–cephfs on /var/local/osd1 type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

[root@node2 ~]# mount -l | grep cephfs
/dev/mapper/vg–for–cephfs-lvm–for–cephfs on /var/local/osd2 type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

[root@node3 ~]# mount -l | grep cephfs
/dev/mapper/vg–for–cephfs-lvm–for–cephfs on /var/local/osd3 type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

  1. 后续可以参考之前给出的两篇文章完成cephfs的创建,然后将cephfs挂载到本地
     [root@node1 ~]# mount -t ceph <monitor-ip>:6789:/ /opt -o name=admin,secret=<admin-key>
    其中admin-key用如下方式获取
    [root@node1 opt]# ceph auth get client.admin

[root@node1 ~]# mount -l | grep opt
10.0.169.87:6789:/ on /opt type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216)

  1. 然后在cephfs中创建出后续需要的三个目录

[root@node1 opt]# pwd
/opt
[root@node1 opt]# ll
总用量 0
drwxr-xr-x 1 1000 root 1 8月 1 22:07 elasticsearch_node1
drwxr-xr-x 1 1000 root 1 8月 1 22:07 elasticsearch_node2
drwxr-xr-x 1 1000 root 1 8月 1 22:07 elasticsearch_node3

二、persistent storage

使用简单,建议使用。

  1. 在elasticsearch/persistent_storage目录下有如下文件。

drwxr-xr-x. 2 root root 30 7月 31 14:42 cephfs  (包含文件 -rw-r–r–. 1 root root 173 7月 30 15:20 ceph-secret.yaml)

-rw-r–r–. 1 root root 1115 7月 31 15:50 replicset_elasticsearch_1.yaml
-rw-r–r–. 1 root root 1115 7月 31 15:50 replicset_elasticsearch_2.yaml
-rw-r–r–. 1 root root 1115 7月 31 15:50 replicset_elasticsearch_3.yaml

  • 其中cephfs的secret文件用于在k8s中创建出secret资源,保存了访问cephfs的key等信息。

  • replicaset_elasticsearch_1.yaml中需要注意以下内容

   volumeMounts:
   –  name: cephfs
       mountPath: /usr/share/elasticsearch/data     #将cephfs中的elsticsearch_node1挂载到pod elasticsearch_node1中的/usr/share/elasticsearch/data目录下。
volumes:
–  name: cephfs
   cephfs:
      monitors:
      –  10.0.169.87:6789                                   # cephfs的管理节点
      path: /elasticsearch_node1                       #之前创建的目录
      secretRef:                                                 #引用访问cephfs的secret
      name: ceph-secret

2.persistent storage架构图

  data数据会被永久保存到cephfs中,除非在elasticsearch中删除相关index;或者将cephfs挂载到本地,然后将elasticsearch_node[123]中的内容删除。

  这里特别要注意的是elasticsearch_node[123]目录的权限问题,用之前方式创建出来的目录用户为root:root,但是在elasticsearch中需要elasticsearch用户来运行elasticsearch进程,并将数据保存在data中,在elasticsearch的docker image中,已添加更改目录所有者操作,将elasticsearch_node[123]的所有者改为elasticsearch:root,对外映射看到的所有者为1000:root。

3. 为什么要创建3个replicaset来管理3个elasticsearch pod实例,而不是在一个replicaset中将replicas设置为3 ?

在没有添加cephfs存储之前,采用的是使用一个replicaset来管理3个elasticsearch pod。

每个elasticsearch需要不同的空间来存储自己的data数据,不能在replicaset中设置replicas为3,这样会导致每个elasticsearch的/usr/share/elasticsearch/data目录挂载到相同cephfs目录下。不建议在一个pod中创建创建3个container来挂载不同cephfs的目录,这样虽然能工作,但是这些container在同一个worker node上会导致该node负载过重。

三、persistent volume and persistent volume claim

pv/pvc原理同persistent storage类似,此处仅给出相关原理便于理解。

  1. pv/pvc架构图

  2. 需要以下几点

  • persitent storage和pv/pvc一样都是利用cephfs提供的posix接口将cephfs挂载到相应的worker node上后再利用docker volume将该目录挂载到container中,可在相应worker node上利用docker inspect查看container的mount信息。

  • pv/pvc中声明的大小可能并非cephfs中的大小(通常不是),具体能存放多少数据取决于cephfs。pv声明的存储大小是为了pvc选择能够满足其需求的pv时使用。

  • pv是一类cluster level级别的资源,不属于任何namespace,所以可以被任何namespace中pvc使用。

  • 以cephfs为后端存储的pv,经过验证,其persistentVolumeReclaimPolicy只支持Retain,而不支持Delete和Recycle。意味着删除pvc后,pv中的数据(其实是存储在cephfs文件系统中的数据)不会被删除,但此时该pv不能再被任何pvc所使用,只能删除该pv然后重新创建。因为数据存储在cephfs文件系统中,所以不用担心数据会丢失。Delete会将数据删除,Recycle将数据删除后重新创建pv以为其他pvc提供服务。

四、后期优化

  1. cephfs读写性能。
    需要对cephfs的读写性能进行优化,否则elasticsearch在初始化时需要较长时间。如果发现elasticsearch一直无法初始化完成(kubectl get pod 发现ready的数量为0),可能是liveness检测的initialDelaySeconds时间过短,导致elasticsearch还未完成初始化就被liveness kill掉然后重启了相关pod,可以将这个值设置得更长一些。

关于cephfs中怎么实现Elasticsearch数据持久化问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注云搜网行业资讯频道了解更多相关知识。

赞(0)
【声明】:本博客不参与任何交易,也非中介,仅记录个人感兴趣的主机测评结果和优惠活动,内容均不作直接、间接、法定、约定的保证。访问本博客请务必遵守有关互联网的相关法律、规定与规则。一旦您访问本博客,即表示您已经知晓并接受了此声明通告。