Search Bloguru posts

PSPINC代表 内倉憲一の公式ブログ

https://en.bloguru.com/uchikura

データセンターで火災、サーバー稼働を一時停止!

thread
2008年6月21日

今朝、シアトル時間午前2時から我々が使用するシアトル
データセンターで無停電電源のバッテリーの入れ替えがあ
りました。電源のリダンダンシー(冗長化)をするために
サーバーには A,B,C,D の4電源が入っています。今日の入
れ替えは A 電源のバッテリー入れ替えでした。

2時からスタートした作業は順調に終了して2時半には、
APC のスタッフなども帰り始めました。それから2時間が
過ぎた4時過ぎ(日本時間の土曜日午後8時)に入れ替え
た UPS D スイッチから発煙しました。

この発煙により消防が到着、A, C, D 電源への電気供給を
物理的にストップしました。片っ端から電源スイッチを OFF
にしていったそうです。しかし、発煙(消防は出火と言って
います)は UPS から発生しています。ですから給電を止め
てもバッテリーで電気供給は継続されるために、発煙はと
まりませんでした。そこで消防は、物理的に UPS のクロー
ジャを破壊・・・良く感電しなかったものです。

この時点で C と D の UPS がシャットダウンしました。
このためデータセンター内のサーバーへの電源供給が停止
する状態が発生しました。

6時には UPS を外した形で全てのサーバーへの電源供給は
復旧しています。現在使用不可能になった D UPS からの
給電を A UPS に入れ替える作業を行っています。

この事故が発生しましたことを深くお詫び申し上げます。ま
た、この事故でメールの遅延が発生いたしました。現在、
データセンター運営スタッフが全力で対応いたしております
ので日本時間の日曜日午前2時までには正常に戻ると考えて
おります。

役にはたちませんが、私もデータセンターに来て、スタッフ
のじゃまにならないよう今このリポートを書いています。

Pacific Software Publishing, Inc.
内倉
ken.uchikura@pspinc.com
#PC #テクノロジー #ネット

People Who Wowed This Post

  • If you are a bloguru member, please login.
    Login
  • If you are not a bloguru member, you may request a free account here:
    Request Account
KUMA
Commented by KUMA
Posted at 2008-06-21 10:36

お疲れ様です。

発煙時は臭いが重要で、発火に至るか否を判定が出来ます。
無闇に電源を停止するのは考え物で、消火準備さえあれば、予後を考慮すべきです。
家庭での出火なら知らず、データセンターでの事故には対応があるはずです。

問題の発煙ですが、バッテリー交換に直接起因しているのか、交換時にケーブルの差込、その他の理由でスイッチの部分の接触が緩み、発熱>発煙になったか等を至急に調査されることを強くおすすめします。
後者なら他のスイッチも疑わないといけないからです。

People Who Wowed This Post

うちくら
Commented by 内倉憲一
Posted at 2008-06-22 08:34

今回発煙した機材は APC のもので、フィッシャープラザの管理のものです。我々は直接さわることはできません。さわりたくもないです。

People Who Wowed This Post

birdy
Commented by birdy
Posted at 2008-06-21 17:08

よくわからないけど、大変だったんですね。

大事にいたらなかったようで。

お見舞い申し上げます。

People Who Wowed This Post

うちくら
Commented by 内倉憲一
Posted at 2008-06-22 08:36

ありがとうございます。ご心配をおかけしました・・・と言うか、ご心配をおかけしています。

People Who Wowed This Post

Toshiaki Nomura
Commented by Toshiaki Nomura
Posted at 2008-06-21 18:28

これは大変なことですね!!


ここを開いた途端、
IMが停止してしましました・・・(−−〆)

People Who Wowed This Post

うちくら
Commented by 内倉憲一
Posted at 2008-06-22 08:37

IM???

何でしょうか?

People Who Wowed This Post

Commenting on this post has been disabled.
kito
Commented by kito
Posted at 2008-06-21 22:10

大変な事になっていたんですね。


消防士が片っ端から電源スイッチを OFF にして行ったとありますが消防の方はどういう仕事をしている会社か解っていたのでしょうか。

むやみに電源OFFはすごい決断がいるとおもいます。

復帰するのに電源OFFは影響ないわけないですよね。いつもお世話になり心より今後も何事も無いよう祈っています。

People Who Wowed This Post

うちくら
Commented by 内倉憲一
Posted at 2008-06-22 08:38

消防士も特別な訓練が必要。感電がなくて良かったです。本当に・・・

People Who Wowed This Post

Happy
Sad
Surprise