CYBERMAIL Σ 2月14日 8:50~13:15 【復旧済み】 【最終報告】


平素は弊社サービスCYBERMAIL Σに格別のお引き立てを賜り、厚く御礼申し上げます。
CYBERMAIL Σご利用の一部のお客様にてアクセスしづらい等の事象が発生しておりました。
ご迷惑をお掛けいたしました事を深くお詫び申し上げます。

■発生日時
2022年2月14日(月) 8:50~13:15

■対象サービス
CYBERMAIL Σ
損保セキュアメール

■内容

・最終報 追記・変更
発生原因および再発防止策を追記しました。


・第六報 追記・変更
IMAP接続につきましても通常通り処理できることを確認いたしました。
全てのサービスが復旧しております。

・第五報 追記・変更
本日、13時頃を目途にIMAP接続を復旧できる見込みで進めております。
引き続き、逐次状況を確認し追記にてご案内いたします。

・第四報 追記・変更
メール送受信、WEBアクセス、アドレス帳表示が
ほぼ正常であることを確認いたしました。
※一部のお客様でIMAPサービスが不安定な状況を確認しております。
原因については引き続き調査中となっております。

・第三報
Webアクセスは徐々に回復しつつあります。
IMAPサービスにつながりにくいことがございます。

・第二報
メール送信に時間が掛かることがございます。
アドレス帳が参照できないことがございます。

・第一報 
一部アカウントでWebアクセスしずらい状態が発生しております。


■発生原因

2月10日に発生したシステム障害にて判明したハードウェア障害時に復旧の支障となりえる潜在的なリスクの改善のため、ハードウェアメーカーの協力のもとキャッシュ関連パラメータのチューニングを行い、影響を最小限にする設計の見直しを実施いたしました。
即日動作検証を完了し、2月10日深夜に本番環境のストレージシステムのチューニングを適用しました。

しかし、今回(2月14日)、3連休の週明けの高負荷な状況において、新しく設計したシステムが対応しきれず、その結果、共有ストレージのレスポンス低下したことにより本障害が発生致しました。

また、IMAP接続の不安定がWEBアクセス/メール送受信よりも復旧に時間を要したのは、システム停止を回避するために、段階的に接続制限を行ったことが原因となります。

■再発防止策

(1) 新設計したSSD上のキャッシュパラメータのチューニングを再度見直し
(2) (1)の段階的な適用と調整(タイミング、負荷状況を調整しながら)
(3) 【継続的な対応】 高負荷処理プログラム/プロセスの見直しと修正

 

(1)(2)の防止策は、2月14日より即時実施し、現状においては同様の事象の回避措置は実施しております。※最終報追記


第一報 2022/02/14 08:58
第二報 2022/02/14 09:24
第三報 2022/02/14 09:45
第四報 2022/02/14 11:02
第五報 2022/02/14 12:09
第六報 2022/02/14 13:23
最終報 2022/02/15 12:43
最終報追記 2022/02/15 15:00 

  

ご不明な点がございましたら、新規問い合わせを作成してください。

この記事は役に立ちましたか?
3人中3人がこの記事が役に立ったと言っています