DRBD : インストール2024/05/03 |
|
DRBD (Distributed Replicated Block Device) をインストールして分散ストレージシステムを構築します。 +----------------------+ | +----------------------+ | [ DRBD Server#1 ] |10.0.0.51 | 10.0.0.52| [ DRBD Server#2 ] | | node01.srv.world +----------+----------+ node02.srv.world | | | | | +----------------------+ +----------------------+
前提として、DRBD クラスター全ノードに DRBD デバイスに割り当てる空きブロックデバイスが存在している必要があります。
|
|
| [1] | 全ノードで DRBD をインストールして設定します。 |
|
root@node01:~#
apt -y install drbd-utils
root@node01:~#
vi /etc/drbd.d/r0.res # 新規作成 : 設定ファイル名 ⇒ (リソース名).res
resource r0 {
net {
# A : ローカルディスクとローカル TCP 送信バッファにデータを書き込んだ時点で書き込み完了と判断
# B : ローカルディスクとリモートバッファキャッシュにデータを書き込んだ時点で書き込み完了と判断
# C : ローカルディスクとリモートディスクの両方にデータを書き込んだ時点で書き込み完了と判断
protocol C;
cram-hmac-alg sha1;
# ノード間の認証に使用する任意のシークレットキー
shared-secret "MySharedSecret";
}
disk {
# 同期に使用する帯域幅を制限可 (下例は 10MB/sec)
resync-rate 10M;
}
# on (ホスト名)
on node01.srv.world {
address 10.0.0.51:7788;
volume 0 {
# 使用するデバイス名
device /dev/drbd0;
# 使用するブロックデバイス
disk /dev/sdb1;
# メタデータを作成する場所
# 別ディスクにする場合はブロックデバイス名を指定
meta-disk internal;
}
}
on node02.srv.world {
address 10.0.0.52:7788;
volume 0 {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
}
}
}
# モジュールロード root@node01:~# modprobe drbd root@node01:~# drbd 458752 0 lru_cache 16384 1 drbd libcrc32c 12288 3 btrfs,drbd,raid456 # DRBDリソース作成 root@node01:~# drbdadm create-md r0 initializing activity log initializing bitmap (5120 KB) to all zero Writing meta data... New drbd meta data block successfully created.root@node01:~# systemctl enable --now drbd |
| [2] | 全ノードで設定した後は、いずれかのホストをプライマリにしてデータの同期を実施します。 |
|
# 設定直後は Secondary/Secondary root@node01:~# cat /proc/drbd
version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:167765980
# DRBDリソース起動 root@node01:~# drbdadm up r0
# プライマリにしてデータ同期 root@node01:~# drbdadm -- --overwrite-data-of-peer primary r0
# データ同期が開始する root@node01:~# cat /proc/drbd
version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
ns:392596 nr:0 dw:0 dr:394740 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:167373384
[>....................] sync'ed: 0.3% (163448/163832)M
finish: 1:53:37 speed: 24,536 (24,536) K/sec
# 同期が完了すると以下のようなステータスになる root@node01:~# cat /proc/drbd
version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:167765980 nr:0 dw:0 dr:167768124 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
|
| [3] | 以上で設定完了です。後は DRBD デバイスにファイルシステムを作成して、プライマリ側でマウントすれば利用可能です。 |
|
root@node01:~# mkfs.ext4 /dev/drbd0 root@node01:~# mkdir /drbd_disk root@node01:~# mount /dev/drbd0 /drbd_disk root@node01:~# df -hT Filesystem Type Size Used Avail Use% Mounted on tmpfs tmpfs 392M 1.1M 391M 1% /run /dev/mapper/ubuntu--vg-ubuntu--lv ext4 28G 6.1G 20G 24% / tmpfs tmpfs 2.0G 0 2.0G 0% /dev/shm tmpfs tmpfs 5.0M 0 5.0M 0% /run/lock /dev/vda2 ext4 2.0G 95M 1.7G 6% /boot tmpfs tmpfs 392M 12K 392M 1% /run/user/0 /dev/drbd0 ext4 157G 28K 149G 1% /drbd_disk # テストファイル作成 root@node01:~# echo 'test file' > /drbd_disk/test.txt root@node01:~# ll /drbd_disk total 28 drwxr-xr-x 3 root root 4096 May 3 06:37 ./ drwxr-xr-x 24 root root 4096 May 3 06:36 ../ drwx------ 2 root root 16384 May 3 06:36 lost+found/ -rw-r--r-- 1 root root 10 May 3 06:37 test.txt |
| [4] | セカンダリ側で DRBD デバイスをマウントするには、現在プライマリになっているホストでアンマウントしてセカンダリに降格させ、 セカンダリ側をプライマリに昇格させてマウントという流れになります。 |
|
# プライマリーホスト # アンマウントしてセカンダリーにする root@node01:~# umount /drbd_disk root@node01:~# drbdadm secondary r0
# セカンダリーホスト # プライマリーにしてマウントする root@node02:~# drbdadm primary r0 root@node02:~# mount /dev/drbd0 /drbd_disk root@node02:~# df -hT Filesystem Type Size Used Avail Use% Mounted on tmpfs tmpfs 392M 1.1M 391M 1% /run /dev/mapper/ubuntu--vg-ubuntu--lv ext4 28G 6.1G 20G 24% / tmpfs tmpfs 2.0G 0 2.0G 0% /dev/shm tmpfs tmpfs 5.0M 0 5.0M 0% /run/lock /dev/vda2 ext4 2.0G 95M 1.7G 6% /boot tmpfs tmpfs 392M 12K 392M 1% /run/user/0 /dev/drbd0 ext4 157G 32K 149G 1% /drbd_diskroot@node02:~# cat /drbd_disk/test.txt test file |
| Sponsored Link |