%
% 表題: Mail トラブルカルテ
%
% 履歴: 2007/04/08 兼成 智久
%

このドキュメントは 2007/04/08 のメール配送エラーからの
復旧作業の記録である.


■症状

2007/04/08 02:15 頃から メールの送受信ができなくなった.


■原因

不明. 


■作業方針

  + 現状の把握
    - 通報により症状を確認
    - ログの確認
    - ログの保存
  + 被害拡大の防止
    - セカンダリメールサーバとして Web サーバがはたらいているか確認
    - ネットワーク線を抜く
  + 復旧作業
    - Mail サーバを再起動
    - ローカルで配送チェック
    - ネットワーク線を繋ぐ
    - Web サーバの queue が減っていくことを確認


■作業手順

□現状の把握

1. 通報により症状を確認


2. ログの確認

 ・/var/log/syslog

   Apr  8 02:14:24 grey qmail: 1175966064.500902 new msg 524461
   Apr  8 02:14:24 grey smtpd: 1175966064.500990 tcpserver: end 16402 status 0
   Apr  8 02:14:24 grey smtpd: 1175966064.501009 tcpserver: status: 0/40
   Apr  8 02:14:24 grey qmail: 1175966064.501098 info msg 524461: bytes 1286 from <zmanifest@domi.gr> qp 16408 uid 106
   Apr  8 02:14:24 grey qmail: 1175966064.544277 starting delivery 12802: msg 524461 to local


   msg 524461 の送信の際に問題が起きたようにみえる.


 ・/var/log/mail.log
 
   Apr  8 02:14:24 grey qmail: 1175966064.500902 new msg 524461
   Apr  8 02:14:24 grey qmail: 1175966064.501098 info msg 524461: bytes 1286 from <zmanifest@domi.gr> qp 16408 uid 106
   Apr  8 02:14:24 grey qmail: 1175966064.544277 starting delivery 12802: msg 524461 to local hos@ep.sci.hokudai.ac.jp
   Apr  8 02:14:24 grey qmail: 1175966064.544586 status: local 1/10 remote 0/20
   Apr  8 02:14:24 grey qmail: 1175966064.545991 delivery 12802: failure: Sorry,_no_mailbox_here_by_that_name._(#5.1.1)/
   Apr  8 02:14:24 grey qmail: 1175966064.546075 status: local 0/10 remote 0/20
   Apr  8 02:14:24 grey qmail: 1175966064.558252 bounce msg 524461 qp 16411
   Apr  8 02:14:24 grey qmail: 1175966064.558341 end msg 524461
   Apr  8 02:14:24 grey qmail: 1175966064.558524 new msg 524620
   Apr  8 02:14:24 grey qmail: 1175966064.558609 info msg 524620: bytes 1847 from <> qp 16411 uid 111
   Apr  8 02:14:24 grey qmail: 1175966064.587266 starting delivery 12803: msg 524620 to remote zmanifest@domi.gr
   Apr  8 02:14:24 grey qmail: 1175966064.587343 status: local 0/10 remote 1/20
   Apr  8 02:14:34 grey qmail: 1175966074.151164 delivery 12803: success: 195.35.92.22_accepted_message./Remote_host_said:_250_Ok:_queued_as_6A45710A4/
   Apr  8 02:14:34 grey qm


   mail.log をみると, syslog では途中で終わっていた msg 524461 が処理されていることがわかる.
   結局原因はわからなかったが, /var/log 以下を保存し, 復旧を図る.


3. ログの保存

   /var/log 以下を ~kanenari/log_0408 以下に保存する


□被害拡大の防止

4. セカンダリメールサーバとして Web サーバがはたらいているか確認

     @www # /var/qmail/bin/qmail-qstat

   queue がたまっていくことを確認


5. ネットワーク線を抜く

   ネットワーク線を繋いだまま再起動すると, 起動直後にメールが失われる可能性がある.


□復旧作業

6. Mail サーバ再起動


7. ローカルで配送チェック

     $ echo to: kanenari | /var/qmail/bin/qmail-inject

   受信を確認


8. ネットワーク線を繋ぐ


9. Web サーバの queue が減っていくことを確認

     @www # /var/qmail/bin/qmail-qstat