Создание и подключение GlusterFS на работающей системе РЕД Виртуализация

Окружение

• Версия РЕД Виртуализации: 7.3

При возникновении необходимости добавления в уже работающую установку РЕД Виртуализации домена хранения, использующего дисковое пространство вычислительных хостов и основанного на технологии GlusterFS, выполните, описанные в данной статье действия.

Описание конфигурации

Для примера в данной инструкции используется стенд из трех хостов виртуализации.

На каждом хосте виртуализации имеется дисковое устройство /dev/sdb, которое предполагается использовать для размещения данных. /dev/sdb представляет собой диск/дисковый массив, не используемый системой и не имеющий на себе никаких файловых систем. Устройства /dev/sdb идентичны друг другу по размеру на каждом хосте.

На каждом хосте виртуализации имеется минимум 2 сетевых интерфейса: один для доступа в сеть предприятия (используется системой РЕД Виртуализация для управления), второй для обеспечения связанности GlusterFS (сеть хранения, системой РЕД Виртуализация не используется).

В инструкции используются следующие настройки хостов виртуализации:

Хост	IP адрес публичный	IP адрес GlusterFS
cert-733-gl1.test	192.168.1.11	10.250.250.11
cert-733-gl2.test	192.168.1.12	10.250.250.12
cert-733-gl2.test	192.168.1.13	10.250.250.13

Все публичные адреса должны быть добавлены в DNS или же прописаны в файле /etc/hosts на всех хостах виртуализации и виртуальной машине управления HostedEngine.

Подготовительные работы

Настройка ключа беспарольного доступа к хостам

На каждом хосте виртуализации войдите в систему под пользователем root и выполните следующие действия:

1. Выполните команду генерации ключа:

   # ssh-keygen -f ~/.ssh/id_gluster

2. Распространите сгенерированный ключ на все хосты виртуализации по IP адресу GlusterFS, включая тот хост, на котором производилась генерация ключа:

   # ssh-copy-id -i ~/.ssh/id_gluster root@10.250.250.11
   # ssh-copy-id -i ~/.ssh/id_gluster root@10.250.250.12
   # ssh-copy-id -i ~/.ssh/id_gluster root@10.250.250.13

3. Создайте конфигурационный файл использования ключа:

   # vi ~/.ssh/config

4. В файле конфигурации укажите следующую информацию:

   Host 10.250.250.11
     HostName 10.250.250.11
     User root
     IdentityFile ~/.ssh/id_gluster
   
   Host 10.250.250.12
     HostName 10.250.250.12
     User root
     IdentityFile ~/.ssh/id_gluster
   
   Host 10.250.250.13
     HostName 10.250.250.13
     User root
     IdentityFile ~/.ssh/id_gluster

5. Проверить беспарольное подключение к хостам можно командой:

   # ssh 10.250.250.11

При правильной настройке пароль не будет запрошен и сразу будет предоставлен доступ в консоль целевого сервера.

Установка и настройка служб

1. На всех хостах виртуализации активируйте необходимые службы:

   # systemctl enable --now gluster
   # systemctl enable --now glusterfsd

2. После этого выполните настройку правил firewall и разрешите подключение по ряду портов:

   # firewall-cmd --zone=public --add-port=24007-24008/tcp --permanent
   # firewall-cmd --zone=public --add-port=24009/tcp --permanent
   # firewall-cmd --zone=public --add-service=nfs --add-service=samba --add-service=samba-client --permanent
   # firewall-cmd --zone=public --add-port=111/tcp --add-port=139/tcp --add-port=445/tcp --add-port=965/tcp --add-port=2049/tcp --addport=38465-38469/tcp --add-port=631/tcp --add-port=111/udp --addport=963/udp --add-port=49152-49251/tcp --permanent
   # firewall-cmd --zone=public --add-service=glusterfs --permanent

3. Перезагрузите службу firewall:

   # firewall-cmd --reload

Подготовка и монтирование диска

Данная последовательность выполняется на каждом хосте, который будет участником GlusterFS.

1. Удалите все сведения о файловых системах диска:

   # wipefs -a /dev/sdb

2. Создайте таблицу разделов на диске:

   # fdisk /dev/sdb

3. В интерактивном интерфейсе выполните создание разметки — команда g .
4. После создания таблицы разделов создайте раздел с помощью команды n . На все вопросы можно ответить утвердительно, нажав клавишу Enter, если планируется использовать весь объем диска. Будет создан раздел /dev/sdb1.
5. Запишите внесённые изменения и выйдите из утилиты, используя команду w .
6. Создайте файловую систему на новом разделе:

   # mkfs.ext4 /dev/sdb1

7. Создайте директорию для монтирования брика:

   # mkdir -p /gluster

Вы можете использовать любое наименование для директории и её расположение. В данном примере используется директория /gluster.

8. Определите UUID созданного раздела:

   # blkid

В выводе необходимо найти строку со значением /dev/sdb1 — в этой же строке будет указан UUID. Например:

/dev/sdb1: UUID="578bc52a-f40c-42bb-846e-1d73d25a7347" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="e0d787d5-dab3-4246-9b75-2ff16a3fda4e"

9. Добавьте строку монтирования при запуске системы в файл /etc/fstab:

   # vi /etc/fstab

   UUID=578bc52a-f40c-42bb-846e-1d73d25a7347  /gluster   etx4  defaults      0 0

10. Проверьте автоматическое монтирование:

    # systemctl daemon-reload
    # mount -a

    При успешном монтировании в выводе команды df -h будет указан созданный раздел:

    /dev/sdb1            196G      6,2M    186G          1%       /gluster

Создание кластера GlusterFS

1. Для создания кластера достаточно выполнить на одном из хостов команду несколько раз по количеству хостов. Например, на хосте cert-733-gl1.test набор команд будет выглядеть следующим образом:

   # gluster peer probe 10.250.250.12
   # gluster peer probe 10.250.250.13

2. Проверьте, что все хосты были добавлены командой:

   # gluster peer status

   Number of Peers: 2
   
   Hostname: 10.250.250.12
   Uuid: 42ab262c-6896-4feb-89ef-5c02f0a6ee2d
   State: Peer in Cluster (Connected)
   
   Hostname: 10.250.250.13
   Uuid: 541e9282-c7a3-4f67-9729-af86bc944b3a
   State: Peer in Cluster (Connected)

Создание и настройка тома

1. Для создания тома gv0 с типом «реплика» (3 копии на разных бриках) и размещением бриков в корне файловой системы выполните команду:

   # gluster volume create gv0 replica 3 10.250.250.11:/gluster 10.250.250.12:/gluster 10.250.250.13:/gluster force

2. Запустите созданный том:

   # gluster volume start gv0

3. Добавьте параметры настройки тома, оптимизированных под нужды размещения виртуальных дисков:

   # gluster volume set gv0 group virt

4. Задайте права доступа к тому для системы РЕД Виртуализация:
5. В веб интерфейсе портала администратора РЕД Виртуализации данный том отобразится в разделе Хранилище → Разделы (Рисунок 1).

Добавление домена хранения

1. Перейдите на вкладку Хранилище → Домены и нажмите кнопку Новый домен.
2. В открывшемся окне выберите тип хранилища GlusterFS и установите переключатель Используйте управляемый раздел. После чего в выпадающем списке Gluster будут перечислены все доступные тома для добавления. Выберите необходимый том и задайте имя домена хранения в верхнем правом углу окна. Все остальные параметры система добавит самостоятельно. После чего нажмите кнопку ОК. (Рисунок 2)

После добавления и активации нового домена хранения можно включить виртуальные машины.

Дата последнего изменения: 08.07.2026

Если вы нашли ошибку, пожалуйста, выделите текст и нажмите Ctrl+Enter.