Ceph Pacific : Cephadm #2 クラスターの設定2021/07/08 |
|
Ceph クラスター デプロイ ツール [Cephadm] を使用した Ceph クラスターの新規構築です。
当例では 3台 のノードでクラスターを構成します。
3台 のノードにはそれぞれ空きブロックデバイスがあることが前提です。 (当例では [/dev/sdb] を使用)
|
+----------------------------+----------------------------+
| | |
|10.0.0.51 |10.0.0.52 |10.0.0.53
+-----------+-----------+ +-----------+-----------+ +-----------+-----------+
| [node01.srv.world] | | [node02.srv.world] | | [node03.srv.world] |
| Object Storage +----+ Object Storage +----+ Object Storage |
| Monitor Daemon | | | | |
| Manager Daemon | | | | |
+-----------------------+ +-----------------------+ +-----------------------+
|
| [1] | |
| [2] | 他ノードをクラスターに追加するには以下のように実行します。 例として、[node02], [node03] を新規に追加します。 |
|
# 公開鍵を各対象ノードに転送 [root@node01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@node02 Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@node02'" and check to make sure that only the key(s) you wanted were added.[root@node01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@node03 Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@node03'" and check to make sure that only the key(s) you wanted were added. # 各対象ノードをクラスターに追加 [root@node01 ~]# ceph orch host add node02 Inferring fsid 6df4185a-dfb3-11eb-adb7-525400238cef Inferring config /var/lib/ceph/6df4185a-dfb3-11eb-adb7-525400238cef/mon.node01/config Using recent ceph image docker.io/ceph/ceph@sha256:54e95ae1e11404157d7b329d0bef866ebbb214b195a009e87aae4eba9d282949 Added host 'node02'[root@node01 ~]# ceph orch host add node03 Inferring fsid 6df4185a-dfb3-11eb-adb7-525400238cef Inferring config /var/lib/ceph/6df4185a-dfb3-11eb-adb7-525400238cef/mon.node01/config Using recent ceph image docker.io/ceph/ceph@sha256:54e95ae1e11404157d7b329d0bef866ebbb214b195a009e87aae4eba9d282949 Added host 'node03'[root@node01 ~]# ceph orch host ls Inferring fsid 6df4185a-dfb3-11eb-adb7-525400238cef Inferring config /var/lib/ceph/6df4185a-dfb3-11eb-adb7-525400238cef/mon.node01/config Using recent ceph image docker.io/ceph/ceph@sha256:54e95ae1e11404157d7b329d0bef866ebbb214b195a009e87aae4eba9d282949 HOST ADDR LABELS STATUS node01 node01 node02 node02 node03 node03 |
| [3] | OSD を設定するには以下のように実行します。 例として、[node01], [node02], [node03] を OSD に設定します。 |
|
# 利用可能なデバイスの一覧を表示 # [AVAIL = True] であれば利用可 [root@node01 ~]# ceph orch device ls Hostname Path Type Serial Size Health Ident Fault Available node01 /dev/sdb hdd 85.8G Unknown N/A N/A Yes node02 /dev/sdb hdd 85.8G Unknown N/A N/A Yes node03 /dev/sdb hdd 85.8G Unknown N/A N/A Yes # 各ノードに OSD を設定する [root@node01 ~]# ceph orch daemon add osd node01:/dev/sdb Created osd(s) 0 on host 'node01' [root@node01 ~]# ceph orch daemon add osd node02:/dev/sdb Created osd(s) 1 on host 'node02' [root@node01 ~]# ceph orch daemon add osd node03:/dev/sdb Created osd(s) 2 on host 'node03' # しばらくすると各サービスが起動し [HEALTH_OK] となる [root@node01 ~]# ceph -s
cluster:
id: 6df4185a-dfb3-11eb-adb7-525400238cef
health: HEALTH_OK
services:
mon: 3 daemons, quorum node01,node02,node03 (age 4m)
mgr: node01.ftzoaf(active, since 23m), standbys: node02.ypaecy
osd: 3 osds: 3 up (since 22s), 3 in (since 45s)
data:
pools: 1 pools, 1 pgs
objects: 0 objects, 0 B
usage: 15 MiB used, 240 GiB / 240 GiB avail
pgs: 1 active+clean
|
| [4] | OSD を削除するには以下のように実行します。 |
|
[root@node01 ~]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.23428 root default -3 0.07809 host node01 0 hdd 0.07809 osd.0 up 1.00000 1.00000 -5 0.07809 host node02 1 hdd 0.07809 osd.1 up 1.00000 1.00000 -7 0.07809 host node03 2 hdd 0.07809 osd.2 up 1.00000 1.00000 # 例として OSD ID [2] を削除 [root@node01 ~]# ceph orch osd rm 2 Scheduled OSD(s) for removal # 削除ステータス確認 # 削除ステータスが表示されなくなったら削除完了 # かなり時間がかかる [root@node01 ~]# ceph orch osd rm status OSD_ID HOST STATE PG_COUNT REPLACE FORCE DRAIN_STARTED_AT 2 node03 draining 1 False False 2021-07-08 06:38:42.239748 |
| Sponsored Link |
|
|