スーパーコンピュータシステムのファイル消失のお詫び
2021年12月28日（火曜日）掲載
京都大学学術情報メディアセンター
センター長 岡部 寿男
2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.
皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.
今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします.
ファイル消失の影響範囲
・対象ファイルシステム:/LARGE0
・ファイル削除期間:2021年12月14日 17時32分 〜 2021年12月16日 12時43分
・消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
・消失ファイル容量:約 77TB
・消失ファイル数:約 3400万ファイル
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)
障害情報:【スパコン】ストレージのデータ消失について
http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html
ファイル消失の原因
スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において,不用意なプログラムの修正とその適用手順に問題があったことで,本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作しました.
日本ヒューレット・パッカード合同会社から提出された報告書を掲載します.
Lustreファイルシステムのファイル消失について (日本ヒューレット・パッカード合同会社)
今後の取り組み
現在バックアップ処理を停止しておりますが,プログラムの問題を改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.
ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.
一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.
https://www.iimc.kyoto-u.ac.jp/ja/whatsnew/information/detail/211228056999.html 0647番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 3fc6-425w)2021/12/30(木) 09:08:22.56ID:QGjfMUUc0
金星探査の時と同じ
0648番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sa2f-XZsz)2021/12/30(木) 09:35:01.46ID:0fxdxATKa
0649番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sa2f-XZsz)2021/12/30(木) 09:41:14.38ID:yLU1v3aaa
間違った手順でやったらどういうことが起こるか、失敗学の素養がゼロ
0650番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 578f-k81I)2021/12/30(木) 09:55:58.42ID:Hg/fb6uQ0
ファイルに吐き出すとか余計なことしたからダメだったな。
-exec rm {};みたいな決まり文句で済ませればよかった
0651番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 578f-k81I)2021/12/30(木) 09:58:25.07ID:Hg/fb6uQ0
0652番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 6dd2-fqWf)2021/12/30(木) 10:26:26.19ID:p8/tysb/0
0653番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｸｰ MM23-DBQ1)2021/12/30(木) 10:55:57.22ID:MWgrBYwTM
誰だよ弊社100%って🤣
日本HPに任せるとか・・それ米HPとは別モンだからね
0655番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 2b61-iHt7)2021/12/30(木) 11:00:59.04ID:LO4wcLBf0
3700億賠償でいいんじゃね
しっかり謝れる日本が帰ってきた
それだけで涙が出てくるほど嬉しいです
プログラミングとか全くわからんのだが、バックアップってあるもんじゃないの？エクセルですらあるやん
0659番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 8daf-2Et2)2021/12/30(木) 12:21:10.35ID:EWCggCCf0
バックアッププログラムのバグでファイルシステムのルートから全部吹っ飛ばしたから既にバックアップ取れてた分以外が消失してしまったという話なんですわ
0660番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾃﾝﾃﾝﾃﾝ MM97-+2fw)2021/12/30(木) 12:24:43.00ID:E/u9fwbGM
0661番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 8daf-2Et2)2021/12/30(木) 12:46:12.45ID:EWCggCCf0
>>660
動作中に上書きとかしてるとはいえそもそもrmに渡す値のチェック入れてれば防げたんだからバグでもある 0662番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 6da5-SPNH)2021/12/30(木) 12:55:16.01ID:kxH9Mlro0
いいなあ
ウチの会社でも起きないかな
0663番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾃﾝﾃﾝﾃﾝ MM97-+2fw)2021/12/30(木) 12:59:03.79ID:E/u9fwbGM
>>661
動作中のスクリプト上書きでもそのチェックが正しく動く保証はない。 0664番組の途中ですがアフィサイトへの転載は禁止です (ｻｻｸｯﾃﾛﾚ Spef-8Th4)2021/12/30(木) 13:00:50.90ID:E0SOvrPpp
グループて何？教えて
0665番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW eba2-PtLz)2021/12/30(木) 13:49:22.78ID:dBCewHm90
>>663
読み込まれる単位決まってるんだから上書きされた時に機能するように書くか
それができないなら更新適用する上物の方のプログラムを直すかして 0666番組の途中ですがアフィサイトへの転載は禁止です (ｽｯﾌﾟ Sddb-Jq7X)2021/12/30(木) 14:10:42.87ID:DnX4Rlptd
正直、末端担当者レベルじゃ分かりようも無いよなこれ
裏で動いてるバッチの詳細な仕様とか理解できるわけない
どちらかっつーとなんでバックアップ体制整ってないのって感想
これから増分バックアップ始めますとかさ…
0667番組の途中ですがアフィサイトへの転載は禁止です (ｽｯｯﾌﾟ Sdaf-Fj+O)2021/12/30(木) 14:17:31.18ID:XKhlIRr3d
実害殆ど無かったのか、大した計算請け負って無い時期で良かったな
ファーストサーバ「データが飛んだ？自己責任だろwwww」
0670番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW efc1-+2fw)2021/12/30(木) 14:37:23.91ID:m82R3xJL0
>>666
最大250GB/sで発生するデータを“ちゃんと”バックアップ取るのは大変だぞ。 0671番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW e389-Zh0f)2021/12/30(木) 16:53:08.92ID:XhhVeHXQ0
HP株価大暴落かな
0672番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 3f3a-PMAg)2021/12/30(木) 16:54:26.95ID:h1itrxqy0
合同会社って書いてあるじゃん
株式なんて流通してるどころか・・・ないんじゃね？
0673番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Saed-sSSI)2021/12/30(木) 16:54:46.05ID:p0pTBkRJa
偽装 改竄 捏造
>>667
まあまた計算すればいいので
全体から言えばそうなんだろ 0676番組の途中ですがアフィサイトへの転載は禁止です (ﾗｸｯﾍﾟﾍﾟ MM97-XiTh)2021/12/30(木) 17:24:40.74ID:s4ucksl8M
そんなこともあろうかとバックアップにるんやろjk
0677番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM89-vlTx)2021/12/30(木) 18:37:08.49ID:J1T2EcdDM
>>672
アメリカ企業の日本法人は合同会社な事が多いぞ
株主総会が不要なのが便利だとか 0678番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 7f0a-osMB)2021/12/30(木) 20:45:51.69ID:EvUgJGeO0
障害者のパソコンがやらかしたか
年収400万の偽装請負派遣に一人で作業させたんじゃねーの?
0680番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sac7-cj4B)2021/12/31(金) 00:56:45.45ID:eflU3nb3a
あが
0681番組の途中ですがアフィサイトへの転載は禁止です (ﾊﾞｯﾄﾝｷﾝ MM5f-EMaY)2021/12/31(金) 01:25:36.03ID:NHq0fAcyM
HPって中華ちゃうかった？
HPのPC/鯖部門はかつて合併したComaqの系譜
合併で社名はHPになったが、PC事業で存続したのはCompaq側
そういえば国際宇宙ステーションで使われるPCやサーバも以前はIBMからの流れでThinkPadやThinkシリーズだったが
もうずいぶん前からHPの製品に入れ替わっているんだよな
まあ何とは言わんが、さすがにLenovoはアレって事になったか…
0684番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 7f3a-Zjsv)2021/12/31(金) 02:41:58.47ID:xyj5uz+20
>>682
そうか、その流れがあったな
つことは、HP=HP＋Comaq＋DECだよな 割と名門（人が残ってれば） 0686番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 27a2-Nbh7)2021/12/31(金) 02:46:18.63ID:ycvr3ogN0
これ見たらプログラマやってたころ書いた不要ログ削除のスクリプトが今でもちゃんと動いてるか心配になったわ
新人の頃にこのくらいのスクリプトなら書けるだろって任されて四苦八苦しながら書いたやつだから怖い
Hewlett Packard Enterprise が Hit Point Empty になってしまったのか
0688番組の途中ですがアフィサイトへの転載は禁止です (ﾌﾞｰｲﾓ MM26-6wLP)2021/12/31(金) 08:24:53.03ID:AVz6Ynj9M
まじか
0689番組の途中ですがアフィサイトへの転載は禁止です (ｽｯｯﾌﾟ Sdba-oLWV)2021/12/31(金) 12:52:52.65ID:4i/pn00qd
荷馬車じゃ駄目なんですか
0690番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 5a95-PLzY)2021/12/31(金) 17:12:28.62ID:+JZgx7in0
HPですらこんなもんだからみずほ案件だってあの程度で済んでるのは奇跡だよね
ユルシタ
0692番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sac7-cj4B)2021/12/31(金) 20:11:52.33ID:eflU3nb3a
あげ
0693番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW fa60-3yzT)2021/12/31(金) 20:12:56.74ID:oflJjvCD0
>>686
ログローテーションって結構めんどくさいんだよな
分かるわ >>682
鯖とNWスイッチ、企業向けソフトウェアがHPE（件の日本ヒューレット・パッカード）
クライアントPC（デスクトップ/ノート）やプリンター、プロ向け印刷機事業がHP（日本HP）
DECは前者 そういや会社分割が発表された頃
HPはHとPに分かれるなんてジョークも海外で出ていたなｗ
0696番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｴｰ Sa52-9mnu)2021/12/31(金) 20:30:04.95ID:WoyTov9ta
これ江戸時代だったら切腹ものだぞ
素人はWindowsにしろよ
消してもゴミ箱に残るから
