Installation de CephFS

Les notes disponibles ci-dessous sont issues des rushs de documentation d'installation sur le cluster du CBP : 48 noeuds Sun v22z.

L'objectif est d'installer CephFS sur les noeuds v22z de 33 à 40 avec la machine x2100 comme maître.

Prérequis

  • le système installé est une Debian stable Squeeze 6, sur le maître comme sur les noeuds
  • le paquet clustershell est installé sur le maître
  • le maître peut se connecter sur les noeuds sans login/mot de passe

Installation

Préparation sur le maître

Les commandes suivantes sont à taper comme root :

Sur le maître :

# Ajout de la clé de l'archive 
wget -q -O- https://raw.github.com/NewDreamNetwork/ceph/master/keys/release.asc \
| sudo apt-key add -
# Ajout de l'archive dans la liste des archives Debian
sudo tee /etc/apt/sources.list.d/ceph.list <<EOF
deb http://ceph.newdream.net/debian/ squeeze main
deb-src http://ceph.newdream.net/debian/ squeeze main
EOF

apt-get update
apt-get install ceph ceph-common

Importation de la clé publique permettant de se connecter sans mot de passe

# Clean process, files, etc
/etc/init.d/ceph -a stop
/etc/init.d/ceph stop

Création d'un point de montage

# 
clush -b -w v22z[33-40] 'dd if=/dev/zero of=/dev/sda bs=512 count=65536'
clush -b -w v22z[33-40] 'parted -s -- /dev/sda mklabel msdos'
clush -b -w v22z[33-40] 'parted -s -- /dev/sda mkpart primary 1 -1'
clush -b -w v22z[33-40] 'mkfs.ext4  -m 0 /dev/sda1'
clush -b -w v22z[33-40] 'mkdir /srv/osd.$(hostname | sed -e "s/v22z//g")'
clush -b -w v22z[33-40] 'echo -e "/dev/sda1\t/srv/osd.$(hostname | sed -e "s/v22z//g")\tauto\tnoatime,nodiratime,user_xattr\t0\t0" >> /etc/fstab'
clush -b -w v22z[33-40] 'mount /dev/sda1'

cd /etc/ceph
rm ceph.conf ceph.keyring v22z.keyring
ceph-authtool /etc/ceph/v22z.keyring --create-keyring
mkcephfs -a -c v22z.conf -k v22z.keyring
clush -w v22z[33-40] sudo tee /etc/ceph/ceph.conf < v22z.conf
cd /etc/ceph
cp v22z.keyring ceph.keyring
cp v22z.conf ceph.conf
cp v22z.keyring keyring.bin
/etc/init.d/ceph -a restart 
cd /etc/ceph
ceph -k /etc/ceph/v22z.keyring -c /etc/ceph/v22z.conf health
root@x2100-5:/etc/ceph# ceph -k v22z.keyring -c v22z.conf health
2011-10-22 15:29:00.510849 mon <- [health]
2011-10-22 15:29:00.511272 mon.0 -> 'HEALTH_WARN 8118 pgs peering' (0)

root@x2100-5:/etc/ceph# ceph -k v22z.keyring -c v22z.conf health
2011-10-22 15:29:26.371869 mon <- [health]
2011-10-22 15:29:26.372361 mon.0 -> 'HEALTH_WARN 5221 pgs peering' (0)

root@x2100-5:/etc/ceph# ceph -k v22z.keyring -c v22z.conf health
2011-10-22 15:30:07.176099 mon <- [health]
2011-10-22 15:30:07.176886 mon.0 -> 'HEALTH_WARN 3575 pgs peering' (0)
ceph-fuse -o big_writes /media/cephfs/
 ** WARNING: Ceph is still under development.  Any feedback can be directed  **
 **          at ceph-devel@vger.kernel.org or http://ceph.newdream.net/.     **
ceph-fuse[20096]: starting ceph client
ceph-fuse[20096]: starting fuse