[ epnetfan] [ トップページ | 紹介 | 使い方 | 構築メモ ]

クラスタ構築メモ

2009/04/24 杉山耕一朗
2013/03/22 小高正嗣, 荻原弘尭
2013/04/02 荻原弘尭

ログインノードの構築

インストールの準備

今回は USB ディスクを利用する.
iso イメージを入手する
- 完全 CD セットの amd64(http://cdimage.debian.org/cdimage/wheezy_di_rc1/amd64/iso-cd/) の debian-wheezy-DI-rc1-amd64-CD-1.iso をダウンロードする

linux OS の場合

挿した USB のデバイス番号(仮に/dev/sdbだとする)を調べる

以下のコマンドを行う

# cat debian-wheezy-DI-rc1-amd64-CD-1.iso > /dev/sdb
# sync

Windows の場合

windows で iso イメージを焼くため UNetbootin(http://unetbootin.sourceforge.net/) をダウンロードする
unetbootin-windows-583.exe を右クリックして管理者から起動する
「ディスクイメージ iso 」を選択して先ほど入手した debian-wheezy-DI-rc1-amd64-CD-1.iso を指定して ok を押す
追記 2014/03/17 Passcape ISO Burner (http://www.passcape.com/passcape_iso_burner) を使った方が良いかも※要検証

Debian GNU/Linux のインストール

BIOS 設定
- USB ディスクから優先的に起動
言語選択
- 日本
キーボード
- PC スタイル, 日本 (106 キーボード)
ネットワーク
- 手動設定. 今回は 133.87.45.46 を使用.
- ホスト名は "hikari"
ディスクのパーティショニング:
- USB ディスクと OS をインストールする SATA ディスクが両方表示されるので, SATA ディスクの方だけパーティショニングする
- 手動でパーティション作成を選択 (今回は /dev/sdb)
  - 既存のパーティションは初期化
  - / のみ
  - ラベルは root
  - ファイルシステムは ext4
ソフトウェアの選択
- 標準システム
- ssh サーバ
ブートローダーのインストール先の選択
- /dev/sdb を選択

パッケージの追加

sudo

# apt-get install sudo
# visudo
<username> ALL=(ALL) ALL

rsync
```
# apt-get install rsync
```
iptables
```
# apt-get install iptables
# apt-get install iptables-persistent
```
iptables-persistent インストール時に設定ファイルを作るか? と聞かれるので IPv4 用の設定ファイルだけ作ることにする.

ネットワークの再設定

BIOS 設定
- Secondary NIC を有効にする
/etc/network/interfaces に eth1 の設定を追加
- "allow-hotplug" を "auto" に
- eth1 は "address", "netmask", "network", "broadcast" のみ設定.

iptables の設定

初期設定の確認

# iptables -L
hain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

IPv4 フォワードの有効化

# echo 1 > /proc/sys/net/ipv4/ip_forward

iptables の設定

# iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

設定ファイルへの書き込み

# iptables-save > /etc/iptables/rules.v4

iptables の起動

# service iptables-persistent start
[ ok ] Loading iptables rules... IPv4... skipping IPv6 (no rules to load)...done.

計算ノードの OS インストール

BIOS 設定
- USB ディスクから優先的に起動
言語選択
- 日本
キーボード
- PC スタイル, 日本 (106 キーボード)
ネットワーク
- 手動設定. 今回は 192.168,90.1XX を使用.
- ホスト名は "hikari1XX"
ディスクのパーティショニング:
- USB ディスクと OS をインストールする SATA ディスクが両方表示されるので, SATA ディスクの方だけパーティショニングする
- 手動でパーティション作成を選択 (今回は /dev/sda)
  - / のみ
  - ファイルシステムは ext4
  - 最大サイズ (2TB) の 20% だけ使う
OS インストール終了後, 各ノードにインストールされているパッケージをそろえるため, 以下のコマンドを実行する.

まず hikari101 にて
```
hikari101# dpkg --get-selections > pkglist.txt
```
pkglist.txt を hikari1XX にコピー, 以下を実行
```
hikari1XX# dpkg --set-selections < pkglist.txt
hikari1XX# apt-get -u dselect-upgrade
```

NFS サーバの設定

ログインノードへのパッケージのインストール
```
# apt-get install nfs-kernel-server
```

設定. /home/hikari, /usr, /work01 以下を 192.168.90.0/24 に対して公開

# vi /etc/exports
 /work00     192.168.90.0/255.255.255.0(rw,sync,no_subtree_check,no_root_squash)

# /etc/init.d/nfs-kernel-server restart

/etc/hosts の設定

hikari, hikari101 などのホスト名で通信できるようにログインノードおよび計算ノードすべての /etc/hosts を編集する

ログインノードの設定

# vi /etc/hosts    
  133.87.45.46    hikari.ep.sci.hokudai.ac.jp     hikari
  192.168.90.101  hikari101.ep.sci.hokudai.ac.jp       hikari101
  192.168.90.102  hikari102.ep.sci.hokudai.ac.jp       hikari102
  192.168.90.103  hikari103.ep.sci.hokudai.ac.jp       hikari103
  192.168.90.104  hikari104.ep.sci.hokudai.ac.jp       hikari104
  192.168.90.105  hikari105.ep.sci.hokudai.ac.jp       hikari105
  192.168.90.106  hikari106.ep.sci.hokudai.ac.jp       hikari106
  192.168.90.107  hikari107.ep.sci.hokudai.ac.jp       hikari107
  192.168.90.108  hikari108.ep.sci.hokudai.ac.jp       hikari108
  192.168.90.109  hikari109.ep.sci.hokudai.ac.jp       hikari109
  192.168.90.110  hikari110.ep.sci.hokudai.ac.jp       hikari110
  192.168.90.111  hikari111.ep.sci.hokudai.ac.jp       hikari111
  192.168.90.112  hikari112.ep.sci.hokudai.ac.jp       hikari112

計算ノードの設定

# vi /etc/hosts    
  192.168.90.1    hikari.ep.sci.hokudai.ac.jp     hikari
  192.168.90.101  hikari101.ep.sci.hokudai.ac.jp       hikari101
  192.168.90.102  hikari102.ep.sci.hokudai.ac.jp       hikari102
  192.168.90.103  hikari103.ep.sci.hokudai.ac.jp       hikari103
  192.168.90.104  hikari104.ep.sci.hokudai.ac.jp       hikari104
  192.168.90.105  hikari105.ep.sci.hokudai.ac.jp       hikari105
  192.168.90.106  hikari106.ep.sci.hokudai.ac.jp       hikari106
  192.168.90.107  hikari107.ep.sci.hokudai.ac.jp       hikari107
  192.168.90.108  hikari108.ep.sci.hokudai.ac.jp       hikari108
  192.168.90.109  hikari109.ep.sci.hokudai.ac.jp       hikari109
  192.168.90.110  hikari110.ep.sci.hokudai.ac.jp       hikari110
  192.168.90.111  hikari111.ep.sci.hokudai.ac.jp       hikari111
  192.168.90.112  hikari112.ep.sci.hokudai.ac.jp       hikari112

NFS クライアントの設定

ログインノードから計算ノードへログイン
```
$ ssh hikari101
```

nfs-common パッケージをインストール

hikari101$ sudo -s
# apt-get update
# apt-get install nfs-common

/etc/fstab に以下の行を追加

192.168.90.1:/work00	/work00	nfs	defaults	0	2

マウントポイントの作成とマウントのチェック
```
# mkdir /work00
# mount -a 
```
/work00 がマウントできているかどうか df コマンド等で確認する.

計算ノードへの non pass 設定

計算ノードへ ssh 公開鍵の設定を参照

各自ソフトウェアのインストール

参考

http://www.ahref.org/tech/server/server-tips/334.html
http://blog.asial.co.jp/329
http://www.jp.debian.org/releases/stable/amd64/ch04s03.html.ja
http://www.linux.or.jp/JF/JFdocs/NFS-Root-Client.html
http://www.linux.or.jp/JF/JFdocs/NFS-Root.html
http://grape.mtk.nao.ac.jp/~makino/articles/diskless-note/doc/files/_/_diskless-note_cp.html