% 表題: www トラブルシューティング % % 履歴: 2009/03/27 山下 達也 % 本ドキュメントは 2008/11/21 に発生した www サーバのハードディスクで発生したファイル容量の爆発的肥大化からの復旧の報告である． ■ 症状 2008/11/21 の 21:00 頃, システム領域(/)の使用率が 100 % となっていることを 確認. 調査の結果, /var/log 以下の複数のログファイルが 20 G に達していることが判明. -rw-r----- 1 root adm 20G 2008-11-21 09:24 /var/log/kern.log -rw-r----- 1 root adm 20G 2008-11-21 09:24 /var/log/messages -rw-r----- 1 root adm 20G 2008-11-21 09:24 /var/log/syslog log ファイルには以下のような内容が延々と書き出されていた. これらの内容はわずか数日で書き出されたようである. Nov 21 06:29:19 orange syslogd 1.4.1#18: restart. Nov 21 06:38:36 orange kernel: attempt to access beyond end of device Nov 21 06:38:36 orange kernel: sdc1: rw=0, want=4356010800, limit=286744122 Nov 21 06:38:36 orange kernel: attempt to access beyond end of device Nov 21 06:38:36 orange kernel: sdc1: rw=0, want=6203476376, limit=286744122 Nov 21 06:38:36 orange kernel: attempt to access beyond end of device Nov 21 06:38:36 orange kernel: sdc1: rw=0, want=6869334440, limit=286744122 ■ 原因 結局のところ原因は特定できておらず, 目下調査中である. ■ 作業方針 原因が特定できなかったので, 現本機での運用は諦め, 予備機を本機とすることで 復旧を行なう. ■ 作業内容 1. 現 WWW サーバと旧 WWW サーバの /etc/fstab の編集 - /home, /home.bk の行をコメントアウト 2. 現 WWW サーバの shadow, passwd, group, sudoers ファイルのバックアップ - /home/yamasita/tmp-20081121 以下にバックアップ 3. 現 WWW サーバと旧 WWW サーバのシャットダウン 4. 現 WWW サーバの外付け HDD の取り外し 5. 現 WWW サーバと旧 WWW サーバのネットワークカードを交換 6. 現 WWW サーバと旧 WWW サーバの LAN ケーブルを交換 7. 新 WWW サーバに外付け HDD を取り付け 8. 新 WWW サーバを起動 9. /home, /home.bk 領域に fsck - dmesg で外付け HDD の認識を確認 - 不良ブロック検査を実施 - # fsck -c sdc1 - # fsck -c sdd1 10. 新 WWW サーバの shadow, passwd, group, sudoers と /home/yamasita/tmp-20081121 以下のバックアップファイルの中身を比較 - user 部分の更新が無いことを diff で確認 11. apache, qmail, gate の動作確認 - apache - ep のサイトは通常通り見えるか? - http://www.ep.sci.hokudai.ac.jp/~epcore/ - ssl は機能しているか? - https://www.ep.sci.hokudai.ac.jp/~epcore/ - error message の確認(server name, sever admin の記述) - cgi は機能しているか? - http://www.ep.sci.hokudai.ac.jp/~cosmo/enroll/bbs.cgi - https://www.ep.sci.hokudai.ac.jp/cgi-bin/gate-pip-renew.cgi - バーチャルホストの設定はうまくいっているか? - http://www.ep.sci.hokudai.ac.jp/ - http://www.cosmo.sci.hokudai.ac.jp/ - apache-status - http://www.ep.sci.hokudai.ac.jp/server-status/ - qmail - メール配送の確認 + orange から自分へメールを送信/確認 - to mondo3@orange from mondo3@orange + orange から他人へメールを送信/確認 - to yamasita@ep from mondo3@orange + remote から orange を経由して送信/確認 - telnet orange.ep.sci.hokudai.ac.jp 25 - gate の動作確認 + http://www.ep.sci.hokudai.ac.jp/~gate/dvlop/y2007/gate-reconfig.html#test_use + DNS 登録の更新など + gate で他サーバへ ssh 12. 新 WWW サーバの /etc/fstab のコメントアウトを解除 13. テプラの張り替え