%===============================================================
%         地球惑星専攻サーバ  トラブルカルテ
%                               日付:    2002/01/04
%                               サーバ:  www,news
%                               文責:    道政 広一
%---------------------------------------------------------------

■症状
	1) www サーバの /etc/cron.dairy/rsync による white(news) の外付けHDへの
	   バックアップに失敗した旨が cron からのメールに書かれていた.

	2) 去年起動した rsync のプロセスが未だに残っていた.

■原因
	外付けHDの容量(17G)がいっぱいになってしまったため.
	(rsync の log を調べた所 2001/12/30 からエラーが出始めていた事がわかった.)

■対応
	1) 残っている rsync 関係のプロセスを全て止める.
	2) 外付けHDへのバックアップを停止する.
	3) 安定稼動するまで見合わせていた /home.bk/ に /home/ のバックアップを取る.
	4) /bk/ に /home/ , /home.bk/ , /bk/ を除いた / のバックアップを取る.
	   (hde の全てのデータを hdg にバックアップする)

■作業手順
	1) 残っているプロセスを止める
	2) /etc/cron.dairy/rsync の編集
	3) /var/rsync-log/ に新たな log ファイルの作成
	4) /etc/cron.dairy/rsync の起動 (複数回行う)
	5) 容量の確認
	6) /etc/logrotate.d/rsync-log の編集


	1) 残っているプロセスを止める
		関係するプロセスを調べる.
		white の外付け HD へのバックアップのコマンドは以下.

		$ less /etc/cron.dairy/rsync
		rsync -e ssh -aqz /home/ epwww@white:/mnt/orange-bk/
		rsync -e ssh -aqz /etc/  epwww@white:/mnt/orange-bk/ETC/
		rsync -e ssh -aqz /var/  epwww@white:/mnt/orange-bk/VAR/
		rsync -e ssh -aqz /usr/src/ epwww@white:/mnt/orange-bk/SRC/

		rsync と white への ssh を 止めればよい事が解る.
		PID を ps で調べてプロセスを止める.

		$ ps aux|less
		# kill -KILL "PID"

		当然 white の方の プロセスも残ったままなので
		white に login してから 同じ手順でプロセスを止める.


	2) /etc/cron.dairy/rsync の編集

		編集内容は以下.
	
		-- /etc/cron.dairy/rsync --
	
		#
		# /home/ のバックアップ
		#
		date >> /var/log/rsync-log/home.log
		rsync -av --delete --exclude lost+found /home/ /home.bk/ >> /var/log/rsync-log/home.log 2>&1
		echo "$n" >> /var/log/rsync-log/home.log
		#
		# /home/ 以外のバックアップ
		#
		date >> /var/log/rsync-log/bk.log
		rsync  -av --delete --exclude /bk/ --exclude /home.bk/  --exclude /home/ / /bk/ >> /var/log/rsync-log/bk.log 2>&1
		echo "$n" >> /var/log/rsync-log/bk.log
	
		-- /etc/cron.dairy/rsync --


	3) /var/rsync-log/ に新たな log ファイルの作成
	
		# touch /var/rsync-log/home.log
		# touch /var/rsync-log/bk.log


	4) /etc/cron.dairy/rsync の起動(複数回行う)
	
		# /etc/cron.dairy/rsync


	5) 容量の確認
	
		$ df
		Filesystem           1k-blocks      Used Available Use% Mounted on
		/dev/hde1              1922260    745244   1079368  41% /
		/dev/hde2             74987184  13428784  57748516  19% /home
		/dev/hdg1              1922260   1035680    788932  57% /bk
		/dev/hdg2             71967720  13428780  54883176  20% /home.bk
		
		
		/home/ から /home.bk/ へのバックアップは成功しているが
		/ から /bk/ へのバックアップで /bk/ が 300M 近く サイズが大きくなっている.
		
		主な要素は、/proc/ と /bk/proc/ のサイズの違いによるもの.
		# du -sh /proc
		0       /proc
		
		# du -sh /bk/proc
		266M    /bk/proc


	6) /etc/logrotate.d/rsync-log の編集
		rsync を行うたびに log のサイズが大きくなるので logrotate で分割し
		3ヶ月(12週)分の log を保存する.
		編集内容は以下
		
		-- /etc/logrotate.d/rsync-log --
		
		/var/log/rsync-log/home.log {
		    weekly
		    create 0644 root root
		    rotate 12
		}
		/var/log/rsync-log/bk.log {
		    weekly
		    create 0644 root root
		    rotate 12
		}
		
		-- /etc/logrotate.d/rsync-log --


■未処理の問題(2002/01/04 現在)
	white(news) の外付けHD の扱いをどうするのか.