Search Bloguru posts

PSPINC代表 内倉憲一の公式ブログ

https://en.bloguru.com/uchikura

Blog Thread

30時間ぶりの復旧

thread
データセンターで火災、スプリンクラーが稼働、スプリンクラーの水で変電機がショートと言うアクシデントが米国の木曜日の午後11時に発生しました。これによってデータセンターのビル全体が停電、外部からの電力、内部の発電機も使えない最悪の状況が発生しました。この時点でインターネットへの回線は遮断、インターネットへのアクセスがなくなりました。

エアコンがとまり、サーバーの温度が上がり始め、サーバーのシャットダウンを開始しましたが400台のサーバーのシャットダウンが終わる前にUPSからの電気供給がなくなり、全てのサーバーは電源を失い停止しました。

火災が原因であったこともあり、データセンタースタッフは全員ビルの外に出され、サーバーへのアクセスさえもなくなりました。停電はその後も継続、復旧の見込みすら無い状態に陥りました。

外部からの電源、発電機からの給電も不可能な状態の中、データセンターへの電気供給を行うため、300km離れたポートランドから大型の発電機を2台トラックで持ち込み、ビルへの電気供給を行うための突貫工事が開始されました。この時点で12時間が過ぎています。そして工事が終わって発電機から給電を開始したのが火災発生してから24時間が過ぎていました。そしてそこから6時間過ぎた今、やっとサーバーが動き始めています。

現在400台中6台のサーバーに障害が確認されています。2日間の徹夜を行ったスタッフですが、この6台の復旧まで現在努力を行っています。

大変大きな問題になってしまい申し訳ありませんでした。この間状況は twitter.com/uchikura でお伝えすることができました。ブログルに書き込めるのが本当に嬉しいです。
#ブログ

People Who Wowed This Post

  • If you are a bloguru member, please login.
    Login
  • If you are not a bloguru member, you may request a free account here:
    Request Account
めゑ
Commented by めゑ
Posted at 2009-07-04 05:20

復旧作業お疲れ様です。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-04 14:40

みんな2日間徹夜です。本当に頑張ってくれています。

People Who Wowed This Post

KUMA
Commented by KUMA
Posted at 2009-07-04 05:21

お疲れ様でした・・・・

逐一レポートをいただき、クライアントには
「安心」をお伝えできたと思います。
ありがとうございました。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-04 14:43

こんな事故があってはいけないのです。


でも Microsoft bing.com の Travel サイトも米国最大のクレジットカードオンラインプロセスの Authorized.net もダウンしていました。だれも本当に予期していなかったのだと思います。

問題・課題が多く残っています。今も発電機で稼働している状態です。不安です。

People Who Wowed This Post

kito
Commented by kito
Posted at 2009-07-04 05:36

予期せぬ出来事で復旧作業必死にされたと思い心より感謝しています。

2日くらい前からつながらなくてメンテナンスでもしているくらいの軽い気持ちでいて2日めになってもつながらないので何か起きたと思いメールでお聞きした次第です。
復旧作業本当に感謝申しあげます。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-04 14:44

すみません。本当にあってはならないことです。

People Who Wowed This Post

shiropoko
Commented by shiropoko
Posted at 2009-07-04 05:36

ご苦労様 すべて水かぶったら どうなるのかと心配していました。皆様の努力に敬意を表します。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-04 14:45

火災と水没は地下2階です。サーバーは全て3階なので大丈夫です。でも電気が来ないとサーバはただの箱です。

People Who Wowed This Post

MR職人
Commented by MR職人
Posted at 2009-07-04 06:22

お疲れ様でした・・。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:41

返事がおそくなりました。日曜日になって少し落ち着きました。ご声援ありがとうございます。

People Who Wowed This Post

keimi
Commented by keimi
Posted at 2009-07-04 06:38

大変お疲れさまでした。

ありがとうございます。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:41

返事がおそくなりました。ほんとうにご迷惑をおかけしました。

People Who Wowed This Post

sunukolyn
Commented by sunukolyn
Posted at 2009-07-04 06:53

お疲れさまです。

ブログルにアクセスできなくて寂しかったです。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:43

返事がおそくなりました。最低の状況でした。ごめんなさい。

People Who Wowed This Post

Toshiaki Nomura
Commented by Toshiaki Nomura
Posted at 2009-07-04 07:29

ブログルにつながらなくなり、

信頼性の薄い我がパソコンが故障かと焦りました・・・。
無事復旧してよかったです。

大変な作業、ほんとにお疲れ様でした・・・。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:44

返事がおそくなりました。本当に復旧するまで気がかりでした。本当にすみません。

People Who Wowed This Post

量産型水野
Commented by 量産型水野
Posted at 2009-07-04 08:28

朝みてたのですが夕方になって見ようとしたら見れなくなってあかんこれはあかんと思って何回もアクセスしてましたがなかなかアクセス出来ずで自分のパソコンいじってました。けど問題が分かって解決出来て良かったです、迅速なご対応ありがとうございました


またTシャツ活動出来ます、先日はご注文ありがとうございます。他の人からの注文も確定しましたので来週本格的に制作していきます

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:50

返事がおそくなりました。Tシャツ売れて良かった。本当に売れて良かった。

People Who Wowed This Post

おしょう
Commented by ロッキーおしょう
Posted at 2009-07-04 16:34

お疲れ様です

いやあ焦りました。(笑)
こんなにあてにしてただなあと実感
お客様からも電話があったりして
落ち着かない24時間でした
それにしても復旧できて何よりです
一般ユーザーに何かインフォメーション(笑)
あっ私はメールも止まったので無理か(笑)

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 00:56

最悪の状況を考えたシステムを考える仕事が残されました。考えないと。

People Who Wowed This Post

yumirou
Commented by yumirou
Posted at 2009-07-05 04:49

大変なことになっていたのですね。

私のアドレスだけ除外されたのかと思いました。
無知ですから、そのぐらいの発想です。
これからの復旧作業がんばって下さい。

お疲れ様です。

People Who Wowed This Post

内倉憲一
Commented by 内倉憲一
Posted at 2009-07-06 01:02

申し分かりません。想定外のことでした。まだまだ考えが甘いようです。

People Who Wowed This Post

Happy
Sad
Surprise