Installation de GlusterFS

Les notes disponibles ci-dessous sont issues des rushs de documentation d'installation sur le cluster du CBP : 48 noeuds Sun v22z.

L'objectif est d'installer GlusterFS sur les noeuds v22z de 9 à 16 avec la machine x2100 comme maître.

Prérequis

  • le système installé est une Debian stable Squeeze 6, sur le maître comme sur les noeuds
  • le paquet clustershell est installé sur le maître
  • le maître peut se connecter sur les noeuds sans login/mot de passe
  • le paquet glusterfs courant est disponible sur le maître

Installation

Préparation sur le maître

Les commandes suivantes sont à taper comme root :

# Installation des paquets necessaires à GlusterFS
apt-get install fuse-utils
# Telechargement de la version de GlusterFS pour Debian
cd /root
wget http://download.gluster.com/pub/gluster/glusterfs/LATEST/Ubuntu/11.10/glusterfs_3.2.5-1_amd64.deb
# Installation de GlusterFS
dpkg -i /root/glusterfs_3.2.5-1_amd64.deb
# Demarrage du démon GlusterFS
clush -b -w v22z[9-16] '/etc/init.d/glusterd restart'
# Configuration pour un demarrage automatique de GlusterFS
clush -b -w v22z[9-16] 'update-rc.d glusterd defaults'

Préparation sur les noeuds

Le disque /dev/sda sera utilisé sur chacun des noeuds !

Sur notre plate-forme, le système n'est pas local et les disques locaux peuvent être utilisés. Il est vraisemblable que cela ne soit pas le cas chez vous !

# Purge violente de la table de partitions
clush -b -w v22z[9-16] 'dd if=/dev/zero of=/dev/sda bs=512 count=65536'
# Creation d'une table de partitions
clush -b -w v22z[9-16] 'parted -s -- /dev/sda mklabel msdos'
# Creation d'une partition sur toute la taille du disque
clush -b -w v22z[9-16] 'parted -s -- /dev/sda mkpart primary 1 -1'
# Affichage de la table de partition (pour verifier que les 3 dernieres operations)
clush -b -w v22z[9-16] 'fdisk -l /dev/sda'
# Formatage de la partition au format Ext4 (les formats NilFS ou BtrFS ne sont pas operationnels)
clush -b -w v22z[9-16] 'mkfs.ext4  -m 0 /dev/sda1'
# Creation d'un point d'accrochage de la partition
clush -b -w v22z[9-16] 'mkdir /media/sda'
# Montage de la partition
clush -b -w v22z[9-16] 'mount -o noatime,nodiratime /dev/sda1 /media/sda'
# Ajout de l'entree de la partition dans le fichier /etc/fstab
clush -b -w v22z[9-16] 'echo -e "/dev/sda1\t/media/sda\tauto\tnoatime,nodiratime\t0\t0" >> /etc/fstab'
# Verification de l'entree
clush -b -w v22z[9-16] 'cat /etc/fstab'
# Installation des dependances de GlusterFS
clush -b -w v22z[9-16] 'apt-get install fuse fuse-utils'
# Copie de GlusterFS sur chaque noeud
clush -b -w v22z[9-16] --copy /root/glusterfs_3.2.5-1_amd64.deb --dest /root/glusterfs_3.2.5-1_amd64.deb
# Installation du paquet sur chaque noeud
clush -b -w v22z[9-16] 'dpkg -i glusterfs_3.2.5-1_amd64.deb'
# Demarrage du démon GlusterFS
clush -b -w v22z[9-16] '/etc/init.d/glusterd restart'
# Configuration pour un demarrage automatique de GlusterFS
clush -b -w v22z[9-16] 'update-rc.d glusterd defaults'

Configuration

L'accrochage d'un noeuds au maître se fait par la commande gluster peer probe :

for node in $(nodeset -e v22z[9-16] );  
do 
gluster peer probe $node; 
done

COMMAND='gluster volume create raid2 replica 2 transport tcp'
for node in $(nodeset -e v22z[9-16] );  
do
    COMMAND=$COMMAND" "$node:"/media/sda " 
done
echo $COMMAND
gluster volume create raid replica 2 transport tcp v22z9:/media/sda v22z10:/media/sda v22z11:/media/sda v22z12:/media/sda v22z13:/media/sda v22z14:/media/sda v22z15:/media/sda v22z16:/media/sda
Creation of volume raid has been successful. Please start the volume to access data.
gluster volume start raid

Starting volume raid has been successful

mkdir /media/glusterfs.raid
mount -t glusterfs localhost:raid /media/glusterfs.raid
gluster volume info