CentOS Stream 8
Sponsored Link

Ceph Octopus : Cephadm #2 クラスターの設定2021/04/01

 
Ceph クラスター デプロイ ツール [Cephadm] を使用した Ceph クラスターの新規構築です。
当例では 3台 のノードでクラスターを構成します。
3台 のノードにはそれぞれ空きブロックデバイスがあることが前提です。
(当例では [/dev/sdb] を使用)
                                         |
            +----------------------------+----------------------------+
            |                            |                            |
            |10.0.0.51                   |10.0.0.52                   |10.0.0.53 
+-----------+-----------+    +-----------+-----------+    +-----------+-----------+
|   [node01.srv.world]  |    |   [node02.srv.world]  |    |   [node03.srv.world]  |
|     Object Storage    +----+     Object Storage    +----+     Object Storage    |
|     Monitor Daemon    |    |                       |    |                       |
|     Manager Daemon    |    |                       |    |                       |
+-----------------------+    +-----------------------+    +-----------------------+

[1]
[2] 他ノードをクラスターに追加するには以下のように実行します。
例として、[node02], [node03] を新規に追加します。
# 公開鍵を各対象ノードに転送

[root@node01 ~]#
ssh-copy-id -f -i /etc/ceph/ceph.pub root@node02


Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@node02'"
and check to make sure that only the key(s) you wanted were added.

[root@node01 ~]#
ssh-copy-id -f -i /etc/ceph/ceph.pub root@node03


Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@node03'"
and check to make sure that only the key(s) you wanted were added.

# 各対象ノードをクラスターに追加

[root@node01 ~]#
ceph orch host add node02

Inferring fsid 07578f30-91f9-11eb-af18-52540028a696
Inferring config /var/lib/ceph/07578f30-91f9-11eb-af18-52540028a696/mon.node01/config
Using recent ceph image docker.io/ceph/ceph@sha256:030e84addad8f3a7d26ea49b180660f1a9b33ef06d691759f320a58e892fb535
Added host 'node02'
[root@node01 ~]#
ceph orch host add node03

Inferring fsid 07578f30-91f9-11eb-af18-52540028a696
Inferring config /var/lib/ceph/07578f30-91f9-11eb-af18-52540028a696/mon.node01/config
Using recent ceph image docker.io/ceph/ceph@sha256:030e84addad8f3a7d26ea49b180660f1a9b33ef06d691759f320a58e892fb535
Added host 'node03'

[root@node01 ~]#
ceph orch host ls

Inferring fsid 07578f30-91f9-11eb-af18-52540028a696
Inferring config /var/lib/ceph/07578f30-91f9-11eb-af18-52540028a696/mon.node01/config
Using recent ceph image docker.io/ceph/ceph@sha256:030e84addad8f3a7d26ea49b180660f1a9b33ef06d691759f320a58e892fb535
HOST    ADDR    LABELS  STATUS
node01  node01
node02  node02
node03  node03
[3] OSD を設定するには以下のように実行します。
例として、[node01], [node02], [node03] を OSD に設定します。
# 利用可能なデバイスの一覧を表示

# [AVAIL = True] であれば利用可

[root@node01 ~]#
ceph orch device ls

Hostname  Path      Type  Serial  Size   Health   Ident  Fault  Available
node01    /dev/vdb  hdd           85.8G  Unknown  N/A    N/A    Yes
node02    /dev/vdb  hdd           85.8G  Unknown  N/A    N/A    Yes
node03    /dev/vdb  hdd           85.8G  Unknown  N/A    N/A    Yes

# 各ノードに OSD を設定する

[root@node01 ~]#
ceph orch daemon add osd node01:/dev/sdb

Created osd(s) 0 on host 'node01'
[root@node01 ~]#
ceph orch daemon add osd node02:/dev/sdb

Created osd(s) 1 on host 'node02'
[root@node01 ~]#
ceph orch daemon add osd node03:/dev/sdb

Created osd(s) 2 on host 'node03'

# しばらくすると各サービスが起動し [HEALTH_OK] となる

[root@node01 ~]#
ceph -s

  cluster:
    id:     07578f30-91f9-11eb-af18-52540028a696
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum node01,node02,node03 (age 88m)
    mgr: node01.wzlzgu(active, since 93m), standbys: node02.horczb
    osd: 3 osds: 3 up (since 5s), 3 in (since 5s)

  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 237 GiB / 240 GiB avail
    pgs:     100.000% pgs not active
             1 peering
[4] OSD を削除するには以下のように実行します。
[root@node01 ~]#
ceph osd tree

ID  CLASS  WEIGHT   TYPE NAME        STATUS  REWEIGHT  PRI-AFF
-1         0.23428  root default
-3         0.07809      host node01
 0    hdd  0.07809          osd.0        up   1.00000  1.00000
-5         0.07809      host node02
 1    hdd  0.07809          osd.1        up   1.00000  1.00000
-7         0.07809      host node03
 2    hdd  0.07809          osd.2        up   1.00000  1.00000

# 例として OSD ID [2] を削除

[root@node01 ~]#
ceph orch osd rm 2

Scheduled OSD(s) for removal

# 削除ステータス確認

# 削除ステータスが表示されなくなったら削除完了

# かなり時間がかかる

[root@node01 ~]#
ceph orch osd rm status

OSD_ID  HOST    STATE     PG_COUNT  REPLACE  FORCE  DRAIN_STARTED_AT
2       node03  draining  1         False    False  2021-03-31 09:49:47.781654
関連コンテンツ