Ceph Quincy : Cephadm #2 クラスターの設定2022/06/15 |
Ceph クラスター デプロイ ツール [Cephadm] を使用した Ceph クラスターの新規構築です。
当例では 3 台 のノードでクラスターを構成します。
3 台 のノードにはそれぞれ空きブロックデバイスがあることが前提です。 (当例では [/dev/sdb] を使用) | +----------------------------+----------------------------+ | | | |10.0.0.51 |10.0.0.52 |10.0.0.53 +-----------+-----------+ +-----------+-----------+ +-----------+-----------+ | [node01.srv.world] | | [node02.srv.world] | | [node03.srv.world] | | Object Storage +----+ Object Storage +----+ Object Storage | | Monitor Daemon | | | | | | Manager Daemon | | | | | +-----------------------+ +-----------------------+ +-----------------------+ |
[1] | |
[2] | 他ノードをクラスターに追加するには以下のように実行します。 例として、[node02], [node03] を新規に追加します。 |
# 公開鍵を各対象ノードに転送 [root@node01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@node02 Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@node02'" and check to make sure that only the key(s) you wanted were added.[root@node01 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@node03 Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@node03'" and check to make sure that only the key(s) you wanted were added. # 各対象ノードをクラスターに追加 [root@node01 ~]# ceph orch host add node02.srv.world Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Added host 'node02.srv.world' with addr '10.0.0.52'[root@node01 ~]# ceph orch host add node03.srv.world Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Added host 'node03.srv.world' with addr '10.0.0.53'[root@node01 ~]# ceph orch host ls Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a HOST ADDR LABELS STATUS node01.srv.world 10.0.0.51 _admin node02.srv.world 10.0.0.52 node03.srv.world 10.0.0.53 3 hosts in cluster |
[3] | OSD を設定するには以下のように実行します。 例として、[node01], [node02], [node03] を OSD に設定します。 |
# 利用可能なデバイスの一覧を表示 # [AVAIL = True] であれば利用可 [root@node01 ~]# ceph orch device ls Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a HOST PATH TYPE DEVICE ID SIZE AVAILABLE REJECT REASONS node01.srv.world /dev/sdb hdd 171G Yes node02.srv.world /dev/sdb hdd 171G Yes node02.srv.world /dev/sdc hdd 171G Yes node03.srv.world /dev/sdb hdd 171G Yes # 各ノードに OSD を設定する [root@node01 ~]# ceph orch daemon add osd node01.srv.world:/dev/sdb Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Created osd(s) 0 on host 'node01.srv.world'[root@node01 ~]# ceph orch daemon add osd node02.srv.world:/dev/sdb Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Created osd(s) 1 on host 'node02.srv.world'[root@node01 ~]# ceph orch daemon add osd node03.srv.world:/dev/sdb Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Created osd(s) 2 on host 'node03.srv.world' # 一定時間経過後 各サービスが起動し [HEALTH_OK] となる [root@node01 ~]# ceph -s Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a cluster: id: 5bde1018-ec3b-11ec-9cfd-5254006ea317 health: HEALTH_OK services: mon: 3 daemons, quorum node01.srv.world,node02,node03 (age 10m) mgr: node01.srv.world.ujqdmo(active, since 22m), standbys: node02.agmuex osd: 3 osds: 3 up (since 64s), 3 in (since 2m) data: pools: 1 pools, 1 pgs objects: 2 objects, 449 KiB usage: 61 MiB used, 480 GiB / 480 GiB avail pgs: 1 active+clean |
[4] | OSD を削除するには以下のように実行します。 |
[root@node01 ~]# ceph osd tree Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.46857 root default -3 0.15619 host node01 0 hdd 0.15619 osd.0 up 1.00000 1.00000 -5 0.15619 host node02 1 hdd 0.15619 osd.1 up 1.00000 1.00000 -7 0.15619 host node03 2 hdd 0.15619 osd.2 up 1.00000 1.00000 # 例として OSD ID [2] を削除 [root@node01 ~]# ceph orch osd rm 2 Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a Scheduled OSD(s) for removal # 削除ステータス確認 # 削除ステータスが表示されなくなったら削除完了 # かなり時間がかかる [root@node01 ~]# ceph orch osd rm status Inferring fsid 5bde1018-ec3b-11ec-9cfd-5254006ea317 Using recent ceph image quay.io/ceph/ceph@sha256:12a0a4f43413fd97a14a3d47a3451b2d2df50020835bb93db666209f3f77617a OSD HOST STATE PGS REPLACE FORCE ZAP DRAIN STARTED AT 2 node03.srv.world draining 1 False False False 2022-06-15 00:05:46.148220 |
Sponsored Link |
|