Ubuntu 24.04
Sponsored Link

DRBD : インストール2024/05/03

 

DRBD (Distributed Replicated Block Device) をインストールして分散ストレージシステムを構築します。
ネットワーク越しにブロックデバイス単位でミラーリングをすることが可能です。
当例では以下のような環境で DRBD ストレージクラスターを構成します。

+----------------------+          |          +----------------------+
| [   DRBD Server#1  ] |10.0.0.51 | 10.0.0.52| [   DRBD Server#2  ] |
|   node01.srv.world   +----------+----------+   node02.srv.world   |
|                      |                     |                      |
+----------------------+                     +----------------------+

前提として、DRBD クラスター全ノードに DRBD デバイスに割り当てる空きブロックデバイスが存在している必要があります。
[1] 全ノードで DRBD をインストールして設定します。
root@node01:~#
apt -y install drbd-utils
root@node01:~#
vi /etc/drbd.d/r0.res
# 新規作成 : 設定ファイル名 ⇒ (リソース名).res

resource r0 {
    net {
        # A : ローカルディスクとローカル TCP 送信バッファにデータを書き込んだ時点で書き込み完了と判断
        # B : ローカルディスクとリモートバッファキャッシュにデータを書き込んだ時点で書き込み完了と判断
        # C : ローカルディスクとリモートディスクの両方にデータを書き込んだ時点で書き込み完了と判断
        protocol C;
        cram-hmac-alg sha1;
        # ノード間の認証に使用する任意のシークレットキー
        shared-secret "MySharedSecret";
    }
    disk {
    	# 同期に使用する帯域幅を制限可 (下例は 10MB/sec)
        resync-rate 10M;
    }
    # on (ホスト名)
    on node01.srv.world {
        address 10.0.0.51:7788;
        volume 0 {
            # 使用するデバイス名
            device /dev/drbd0;
            # 使用するブロックデバイス
            disk /dev/sdb1;
            # メタデータを作成する場所
            # 別ディスクにする場合はブロックデバイス名を指定
            meta-disk internal;
        }
    }
    on node02.srv.world {
        address 10.0.0.52:7788;
        volume 0 {
            device /dev/drbd0;
            disk /dev/sdb1;
            meta-disk internal;
        }
    }
}

# モジュールロード

root@node01:~#
modprobe drbd

root@node01:~#
lsmod | grep drbd

drbd                  458752  0
lru_cache              16384  1 drbd
libcrc32c              12288  3 btrfs,drbd,raid456

# DRBDリソース作成

root@node01:~#
drbdadm create-md r0

initializing activity log
initializing bitmap (5120 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.

root@node01:~#
systemctl enable --now drbd

[2] 全ノードで設定した後は、いずれかのホストをプライマリにしてデータの同期を実施します。
# 設定直後は Secondary/Secondary

root@node01:~#
cat /proc/drbd

version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:167765980

# DRBDリソース起動

root@node01:~#
drbdadm up r0
# プライマリにしてデータ同期

root@node01:~#
drbdadm -- --overwrite-data-of-peer primary r0
# データ同期が開始する

root@node01:~#
cat /proc/drbd

version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:392596 nr:0 dw:0 dr:394740 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:167373384
        [>....................] sync'ed:  0.3% (163448/163832)M
        finish: 1:53:37 speed: 24,536 (24,536) K/sec

# 同期が完了すると以下のようなステータスになる

root@node01:~#
cat /proc/drbd

version: 8.4.11 (api:1/proto:86-101)
srcversion: 211FB288A383ED945B83420
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:167765980 nr:0 dw:0 dr:167768124 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
[3] 以上で設定完了です。後は DRBD デバイスにファイルシステムを作成して、プライマリ側でマウントすれば利用可能です。
root@node01:~#
mkfs.ext4 /dev/drbd0

root@node01:~#
mkdir /drbd_disk

root@node01:~#
mount /dev/drbd0 /drbd_disk

root@node01:~#
df -hT

Filesystem                        Type   Size  Used Avail Use% Mounted on
tmpfs                             tmpfs  392M  1.1M  391M   1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv ext4    28G  6.1G   20G  24% /
tmpfs                             tmpfs  2.0G     0  2.0G   0% /dev/shm
tmpfs                             tmpfs  5.0M     0  5.0M   0% /run/lock
/dev/vda2                         ext4   2.0G   95M  1.7G   6% /boot
tmpfs                             tmpfs  392M   12K  392M   1% /run/user/0
/dev/drbd0                        ext4   157G   28K  149G   1% /drbd_disk

# テストファイル作成

root@node01:~#
echo 'test file' > /drbd_disk/test.txt

root@node01:~#
ll /drbd_disk

total 28
drwxr-xr-x  3 root root  4096 May  3 06:37 ./
drwxr-xr-x 24 root root  4096 May  3 06:36 ../
drwx------  2 root root 16384 May  3 06:36 lost+found/
-rw-r--r--  1 root root    10 May  3 06:37 test.txt
[4] セカンダリ側で DRBD デバイスをマウントするには、現在プライマリになっているホストでアンマウントしてセカンダリに降格させ、 セカンダリ側をプライマリに昇格させてマウントという流れになります。
# プライマリーホスト
# アンマウントしてセカンダリーにする

root@node01:~#
umount /drbd_disk

root@node01:~#
drbdadm secondary r0
# セカンダリーホスト
# プライマリーにしてマウントする

root@node02:~#
drbdadm primary r0

root@node02:~#
mount /dev/drbd0 /drbd_disk

root@node02:~#
df -hT

Filesystem                        Type   Size  Used Avail Use% Mounted on
tmpfs                             tmpfs  392M  1.1M  391M   1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv ext4    28G  6.1G   20G  24% /
tmpfs                             tmpfs  2.0G     0  2.0G   0% /dev/shm
tmpfs                             tmpfs  5.0M     0  5.0M   0% /run/lock
/dev/vda2                         ext4   2.0G   95M  1.7G   6% /boot
tmpfs                             tmpfs  392M   12K  392M   1% /run/user/0
/dev/drbd0                        ext4   157G   32K  149G   1% /drbd_disk

root@node02:~#
cat /drbd_disk/test.txt

test file
関連コンテンツ