【悲報】HP(ヒューレット・パッカード)、京大スパコンの3400万ファイル77TBを削除 重要な研究データも多数 HP「100%弊社の責任」 [517459952]
■ このスレッドは過去ログ倉庫に格納されています
スーパーコンピュータシステムのファイル消失のお詫び
2021年12月28日（火曜日）掲載
京都大学学術情報メディアセンター
センター長 岡部 寿男
2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.
皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.
今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします.
ファイル消失の影響範囲
・対象ファイルシステム:/LARGE0
・ファイル削除期間:2021年12月14日 17時32分 ～ 2021年12月16日 12時43分
・消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
・消失ファイル容量:約 77TB
・消失ファイル数:約 3400万ファイル
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)
障害情報:【スパコン】ストレージのデータ消失について
http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html
ファイル消失の原因
スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において,不用意なプログラムの修正とその適用手順に問題があったことで,本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作しました.
日本ヒューレット・パッカード合同会社から提出された報告書を掲載します.
Lustreファイルシステムのファイル消失について (日本ヒューレット・パッカード合同会社)
今後の取り組み
現在バックアップ処理を停止しておりますが,プログラムの問題を改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.
ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.
一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.
https://www.iimc.kyoto-u.ac.jp/ja/whatsnew/information/detail/211228056999.html バックアップシステムも完璧じゃないからそれ以外に自分でもバックアップしろって
まあそうなんだろうけども・・・ こういうのって「システムメンテナンス」中に行われるべき作業ってことかな
まじで派遣とか下請けの適当運用のせいなんじゃ？ 全面的にとかじゃなくて100%とか使っちゃうあたりに会社のレベルを感じちゃうんだけど HPだけに責任もHundred Percentってか？ なんでクラウド使ってないじいさんのファイル消えてしまうん？ 手順間違えると問題だからな
検証環境では正で通っても実際繋げてみたらその手順だと問題発生するみたいなことはある
ただやらかしの規模が大きい上に取り返せないからHPの関係者も真っ青にならざるをえないわな >>227
100%はスレタイだけど
マジバカだなおまえ 京大が容量ケチった報復に見える
shellでfindしてrmかけるとかバグったら終わりな30年前かよと思うレベルのスクリプトをサービス運用させられてるhpかわいそすぎ
どうせ学部生のほめぱげとか書き直せばいいTeXレポートばっかだろ 77tって個人ならとんでもない量だけど企業的にいったらそうでもないよな >>23
むしろコロナに効く薬の開発邪魔したとかだな >>242
100%のヒーローなんているわけないよ分かってるのに >>30
アメリカの人は100%こんな事言わないから
ジャップ法人のジャップが先走って言ってるんだろうな
後で本社からお叱りを受けて発言撤回まで見えます 増分バックアップないのって普通なの？
というかサイズがサイズだけに無理なん？ 大事なファイルは別にバックアップを取って置かないとね
京大もマヌケ 他国企業にやらせるなよ
完全にわざとだしデータはもうNSAが分析してるだろ 部品を日本で組み立ててメイドイントンキンとか天狗になってたんじゃないか？HP 手順とか運用の話だけとはとても思えないけど
ここまで雑に掘って雑にそのまま消すとか自分の環境でもゴミファイル整理する時にしかしない
学生としても個人としてもPC使った事無い新人と最初からオアシス決め込んでた老害の奇跡のコラボって感じ
hpでもこんなレベルなんだな >>174
タイミングによっては起きなそうな問題だし
今まで上手くいってたけど今回始めて起きちゃった感じがする
にしても初歩的なミスだな 深夜のメンテナンス作業で眠くて眠くて、ユーザーの伝票明細テーブルを間違ってTRUNCATEした。 システムがタスク処理だから他の処理中にスクリプト実行で誤動作
じゃあ根本的な問題解決しねーじゃん >>186
そもそもスクリプトの書き方が悪いな
未定義の変数にぶち当たったらそこでエラー終了させられないのか
他の言語とかだと止まるよね ヒューレット・パッカードだけじゃなくHPもシステム障害でPCの納期遅れてるし駄目だろこの会社
仕入先DELLに変えるわ 家のハードディスクが容量６テラくらいになってるわけで
スパコンで７７テラって
少なくね？ >>266
シェルスクリプトの後ろになんかオプションつければ回避できたはず
具体的には忘れた >>1
これだけの事しといて「どうぞよろしく」はアタマおかしいw 入社仕立ての頃運用系だったんでシェルスクリプト書いてたけど
実行中に書き換えたらどうなるんだろうと思ってテストしてみてやばいなって思ったことがある
懐かしいな
要はそんな新卒以下レベルのエンジニアが作業してるわけよ スパコンにやらせる仕事って
何かしらの演算なんだろ
元データはそら、それぞれ残ってるのでは 会社pcがdell→東芝→富士通になってるけど何考えて会社変えてんだろ
安いとこ行ってるだけかな 卒論修論のシーズンだと思うけど死人が出なければ良いね🤗 空襲や原爆で街が焼け野原になっても復興したジャップの忍耐強さなら大丈夫だろ こんな時のためのバックアップだろうが！と思うんだが
>バックアップするプログラムの不具合により
もはや何がしたいのかわからない
毎日のバックアップはプログラムでいいと思うけど
それとは別に、アナログで月イチぐらいバックアップ取ればいいのに
最悪１ヶ月前ぐらいまでの手戻りなら、ギリギリどうにかなることも多い
まあ本当に大事なデータは、個人個人こっそり勝手にDVDにバックアップしてるかもだが 弊社文とかごっこ遊び以外で使ってるやつマジでいるの面白いよな ヒューレット＆パッカードのそのサーバーのせいだよー >>281
まあそっちもそっちでなんかあったよね、個人向けPCだけど 勘違いしてる奴多いけど日本ヒューレット・パッカードは日本が経営してるヒューレット・パッカードの子会社🤫 な、ジャップランドではFAXが安心って分かっただろ？ 富士通やNECを断ってHPにした馬鹿が居るんだろうな 視認性の為に大きな代償を払ったな
怠惰な俺の大勝利だ >>218
メンテナンス期間にすればいいだけの話。
活線状態のものに手を出すのは原則ご法度。
それにしても例外対処の場合は色々チェックがかかるのが通例であることを
踏まえると、担当者が勝手にやったとかそういうレベルの事象だったのかも
しれない。パソコン大先生みたいな感じで。 こういったシステムはオペレーターエンジニアを含めての信頼性が大事だな >>24
クラウドもつまるところ物理的なサーバーに保存されてるんやで 結局Lenovoで正解やったんや
楽天リーベイツでお得やったしな Windowsみたいにファイルロック出来れば良いのにね >>195
HPは駄目やなこれ
まあ責任認めただけジャップよりはマシだがね ジャップ大学の研究データなんてそう重要なものは無いだろうから別に良いよ 活線状態で手を出すなら、まずは命令文を echo で出力して意図通りの
変換がなされているのか？とかをチェックすべきはず。どこかのテキストを
参考に書き換えて、そのまま意図通りの動作をするほど計算機は優しくない。 bashが随時読み込みとか初めて知ったわ
直前で変数チェックしてても実行時には空になってたって事か さすがに大事なファイルはバックアップ取ってあるだろ 大学とはいえ２日で７７Tはすげーな
高画質で世界のTV放送を録画したらそれぐらいになる？ HPのバックアップツールは全部英語だからなそのうちオペレーターの操作ミス起きるぞ >>308
コマンドライン叩いてるだけなんだからそりゃ随時なんじゃないの
先に全部キャッシュする方式取ってる所なんかあんのかな ■ このスレッドは過去ログ倉庫に格納されています
