クラスタ構築メモ

  • 2009/04/24 杉山耕一朗
  • 2013/03/22 小高正嗣, 荻原弘尭
  • 2013/04/02 荻原弘尭

ログインノードの構築

インストールの準備

  • 今回は USB ディスクを利用する.
  • iso イメージを入手する
    • 完全 CD セット の amd64(http://cdimage.debian.org/cdimage/wheezy_di_rc1/amd64/iso-cd/) の debian-wheezy-DI-rc1-amd64-CD-1.iso をダウンロードする

linux OS の場合

  • 挿した USB のデバイス番号(仮に/dev/sdbだとする)を調べる

  • 以下のコマンドを行う

    # cat debian-wheezy-DI-rc1-amd64-CD-1.iso > /dev/sdb
# sync

Windows の場合

  • windows で iso イメージを焼くため UNetbootin(http://unetbootin.sourceforge.net/) をダウンロードする
  • unetbootin-windows-583.exe を右クリックして管理者から起動する
  • 「ディスクイメージ iso 」を選択して先ほど入手した debian-wheezy-DI-rc1-amd64-CD-1.iso を指定して ok を押す
  • 追記 2014/03/17 Passcape ISO Burner (http://www.passcape.com/passcape_iso_burner) を使った方が良いかも※要 検証

Debian GNU/Linux のインストール

  • BIOS 設定
    • USB ディスクから優先的に起動
  • 言語選択
    • 日本
  • キーボード
    • PC スタイル, 日本 (106 キーボード)
  • ネットワーク
    • 手動設定. 今回は 133.87.45.46 を使用.
    • ホスト名は "hikari"
  • ディスクのパーティショニング:
    • USB ディスクと OS をインストールする SATA ディスクが両方表示されるので, SATA ディスクの方だけパーティショニングする
    • 手動でパーティション作成を選択 (今回は /dev/sdb)
      • 既存のパーティションは初期化
      • / のみ
      • ラベルは root
      • ファイルシステムは ext4
  • ソフトウェアの選択
    • 標準システム
    • ssh サーバ
  • ブートローダーのインストール先の選択
    • /dev/sdb を選択

パッケージの追加

  • sudo 

    # apt-get install sudo
# visudo
<username> ALL=(ALL) ALL

  • rsync

    # apt-get install rsync

  • iptables

    # apt-get install iptables
# apt-get install iptables-persistent

    iptables-persistent インストール時に設定ファイルを作るか? と聞かれるので IPv4 用の設定ファイルだけ作ることにする.

ネットワークの再設定

  • BIOS 設定
    • Secondary NIC を有効にする
  • /etc/network/interfaces に eth1 の設定を追加
    • "allow-hotplug" を "auto" に
    • eth1 は "address", "netmask", "network", "broadcast" のみ設定.

iptables の設定

  • 初期設定の確認

    # iptables -t nat -L
hain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

  • IPv4 フォワードの有効化

    # echo 1 > /proc/sys/net/ipv4/ip_forward

  • iptables の設定

    # iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

  • 設定ファイルへの書き込み

    # iptables-save > /etc/iptables/rules.v4

  • iptables の起動

    # service iptables-persistent start
[ ok ] Loading iptables rules... IPv4... skipping IPv6 (no rules to load)...done.

計算ノードの OS インストール

  • BIOS 設定
    • USB ディスクから優先的に起動
  • 言語選択
    • 日本
  • キーボード
    • PC スタイル, 日本 (106 キーボード)
  • ネットワーク
    • 手動設定. 今回は 192.168,90.1XX を使用.
    • ホスト名は "hikari1XX"
  • ディスクのパーティショニング:
    • USB ディスクと OS をインストールする SATA ディスクが両方表示されるので, SATA ディスクの方だけパーティショニングする
    • 手動でパーティション作成を選択 (今回は /dev/sda)
      • / のみ
      • ファイルシステムは ext4
      • 最大サイズ (2TB) の 20% だけ使う

  • OS インストール終了後, 各ノードにインストールされているパッケージをそろえるため, 以下のコマンドを実行する.

    まず hikari101 にて

    hikari101# dpkg --get-selections > pkglist.txt

    pkglist.txt を hikari1XX にコピー, 以下を実行

    hikari1XX# dpkg --set-selections < pkglist.txt
hikari1XX# apt-get -u dselect-upgrade

NFS サーバの設定

  • ログインノードへのパッケージのインストール

    # apt-get install nfs-kernel-server

  • 設定. /home/hikari, /usr, /work01 以下を 192.168.90.0/24 に対して公開

    # vi /etc/exports
 /work00     192.168.90.0/255.255.255.0(rw,sync,no_subtree_check,no_root_squash)

# /etc/init.d/nfs-kernel-server restart

/etc/hosts の設定

  • hikari, hikari101 などのホスト名で通信できるようにログインノードおよび計算ノードすべての /etc/hosts を編集する

    • ログインノードの設定
    # vi /etc/hosts    
  133.87.45.46    hikari.ep.sci.hokudai.ac.jp     hikari
  192.168.90.101  hikari101.ep.sci.hokudai.ac.jp       hikari101
  192.168.90.102  hikari102.ep.sci.hokudai.ac.jp       hikari102
  192.168.90.103  hikari103.ep.sci.hokudai.ac.jp       hikari103
  192.168.90.104  hikari104.ep.sci.hokudai.ac.jp       hikari104
  192.168.90.105  hikari105.ep.sci.hokudai.ac.jp       hikari105
  192.168.90.106  hikari106.ep.sci.hokudai.ac.jp       hikari106
  192.168.90.107  hikari107.ep.sci.hokudai.ac.jp       hikari107
  192.168.90.108  hikari108.ep.sci.hokudai.ac.jp       hikari108
  192.168.90.109  hikari109.ep.sci.hokudai.ac.jp       hikari109
  192.168.90.110  hikari110.ep.sci.hokudai.ac.jp       hikari110
  192.168.90.111  hikari111.ep.sci.hokudai.ac.jp       hikari111
  192.168.90.112  hikari112.ep.sci.hokudai.ac.jp       hikari112
    • 計算ノードの設定
    # vi /etc/hosts    
  192.168.90.1    hikari.ep.sci.hokudai.ac.jp     hikari
  192.168.90.101  hikari101.ep.sci.hokudai.ac.jp       hikari101
  192.168.90.102  hikari102.ep.sci.hokudai.ac.jp       hikari102
  192.168.90.103  hikari103.ep.sci.hokudai.ac.jp       hikari103
  192.168.90.104  hikari104.ep.sci.hokudai.ac.jp       hikari104
  192.168.90.105  hikari105.ep.sci.hokudai.ac.jp       hikari105
  192.168.90.106  hikari106.ep.sci.hokudai.ac.jp       hikari106
  192.168.90.107  hikari107.ep.sci.hokudai.ac.jp       hikari107
  192.168.90.108  hikari108.ep.sci.hokudai.ac.jp       hikari108
  192.168.90.109  hikari109.ep.sci.hokudai.ac.jp       hikari109
  192.168.90.110  hikari110.ep.sci.hokudai.ac.jp       hikari110
  192.168.90.111  hikari111.ep.sci.hokudai.ac.jp       hikari111
  192.168.90.112  hikari112.ep.sci.hokudai.ac.jp       hikari112

NFS クライアントの設定

  • ログインノードから計算ノードへログイン

    $ ssh hikari101

  • nfs-common パッケージをインストール

    hikari101$ sudo -s
# apt-get update
# apt-get install nfs-common

  • /etc/fstab に以下の行を追加

    192.168.90.1:/work00	/work00	nfs	defaults	0	2

  • マウントポイントの作成とマウントのチェック

    # mkdir /work00
# mount -a

    /work00 がマウントできているかどうか df コマンド等で確認する.

計算ノードへの non pass 設定

各自ソフトウェアのインストール

参考

  • http://www.ahref.org/tech/server/server-tips/334.html
  • http://blog.asial.co.jp/329
  • http://www.jp.debian.org/releases/stable/amd64/ch04s03.html.ja
  • http://www.linux.or.jp/JF/JFdocs/NFS-Root-Client.html
  • http://www.linux.or.jp/JF/JFdocs/NFS-Root.html
  • http://grape.mtk.nao.ac.jp/~makino/articles/diskless-note/doc/files/_/_diskless-note_cp.html