【悲報】HP(ヒューレット・パッカード)、京大スパコンの3400万ファイル77TBを削除 重要な研究データも多数 HP「100%弊社の責任」 [517459952]
■ このスレッドは過去ログ倉庫に格納されています
スーパーコンピュータシステムのファイル消失のお詫び
2021年12月28日（火曜日）掲載
京都大学学術情報メディアセンター
センター長 岡部 寿男
2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.
皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.
今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします.
ファイル消失の影響範囲
・対象ファイルシステム:/LARGE0
・ファイル削除期間:2021年12月14日 17時32分 ～ 2021年12月16日 12時43分
・消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
・消失ファイル容量:約 77TB
・消失ファイル数:約 3400万ファイル
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)
障害情報:【スパコン】ストレージのデータ消失について
http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html
ファイル消失の原因
スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において,不用意なプログラムの修正とその適用手順に問題があったことで,本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作しました.
日本ヒューレット・パッカード合同会社から提出された報告書を掲載します.
Lustreファイルシステムのファイル消失について (日本ヒューレット・パッカード合同会社)
今後の取り組み
現在バックアップ処理を停止しておりますが,プログラムの問題を改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.
ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.
一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.
https://www.iimc.kyoto-u.ac.jp/ja/whatsnew/information/detail/211228056999.html 【尿路結石予防の四ヶ条】
①十分な水分を摂る
食事以外に1日2L以上の水分補給をすることで大幅にリスクを減少できます。
（コーヒー、紅茶等シュウ酸を多く含む飲料及びアルコール類や清涼飲料水は控えめに！）
②動物性脂肪・塩分・糖分の過剰摂取はNO
腸内のシュウ酸濃度や尿中のカルシウム濃度を上げてしまう原因になります。
また、過食そのものによる肥満も結石のリスクを上げるので注意。
③寝る前に食事をしない
食後2-4時間で尿中結石形成促進物質の濃度がピークになるため、可能なら就寝4時間前までに夕食を済ませるのが理想です。
④軽い有酸素運動の習慣を
階段の昇降運動やジョギングなど、体が上下に動くような軽めの運動は結石が砕けて自然排石されやすくなります。
適度な運動は結石が小さく症状が出てくる前に排石される効果が期待されるのでおすすめです。 また君か（データが）壊れるなぁ
ホモセックス不可避 > 将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします
ほえー、世代管理されてないのか。 >>4
そうかコロナの感染シミュレーションが都合悪いとかか >>18
これに関しては容量がバカでかいからな
77TBとかの規模で世代管理すると費用的に凄まじいだろ >>18
スパコンでデータを世代管理してる方が希だぞ これ重複3スレ目
NGBE行き
【乞食速報】スパコン77TBデータを消した会社「100% 弊社の責です。補償はユーザー様のご意向に沿います」 [356012471]
https://greta.5ch.net/test/read.cgi/poverty/1640723185/
【悲報】京都大学のスーパーコンピューターのデータが77TB中28TB完全消失 [685821185]
https://greta.5ch.net/test/read.cgi/poverty/1640706357/ 77TBなんてどうせエロ動画の保存に使ってたんだろ なんでバックアップ無いん
100TBとかそこまでの量じゃないし普通あれこれやる前とやった後にバックアップ取るでしょ あの御方にとって相当重要な事が書かれてたんだろ
消した本人も今頃は、 どんだけ優秀でもこの一回のミスは死ぬしかないなｗ
飛ぶかｗ労働者階級ｗ >>30
弊社100%の責任なんて言い方するんだな まあそんなに影響ないやろ
ファイル置きっぱなしにしてる奴が悪い >>30
こんなの大学から詰められまくるだろうからなぁ 知らないとやらかしそうだな
少しでも気をつけていれば問題無いが気が抜けてたら何があってもおかしくない
削除という強いコマンド使う状況にたいしフェイルセーフの仕組みがないのが悪いんだろうな 弊社もクラウドサーバ化進んでるけどデータ飛んだらどうすんだろ スパコンはテープバックアップで世代管理とかしてないんだ お金貰えたらデータなんかどうでもいいの？
運用コストケチって冗長化を怠ったのであれば京大側も何人かクビにならんとおかしい >>30
https://i.imgur.com/cwZaG2N.png
実行中のシェルスクリプトを上書きする、なんて何が起こるか分からんだろ
なんでこんなことをHPがやるんだ ははは、京都ならデータ復旧110番に電話すりゃ大丈夫
安心の見積りで二回目からは半額だ 復旧不可能もありますスマンコ一発ってかいてあるだろ 変なバックアップだったんだなあ
スパコン絡みでもこんなんなのが実にジャップランドだね😨 >>40
確かに言われてみれば、ファイルサーバーではなく常時稼働常時更新を前提とするコンピューターの
77TBの世代バックアップってどうやるのか自分でもわからんな。 ネトゲだったら本スレが詫び石連呼と脱糞AAだけで埋まるレベル 流石にパソコンという高度な知能が要求される問題にはアヘ関係の画像はないな こうなるとwinnyみたいに放流したほうが実は安全なのかな？ >>30
外資だからでしょ
純日本企業なら責任転嫁する ネトウヨ「なんだ関西の大学か、東京じゃないならどーでもいい」 >>30
そうさ100%弊社
もう割り切るしかないさ ジャップ企業ならカルト社員が障害者つれてきてこの人がすいませんって描き方だろうね
下手すると誤解させてしまいました申し訳ない 某国の留学生とか雇ってたんじゃないの
本国の指令を受けて これってケチって日本企業に任せなかった京大も悪いよね？ 100%弊社の責任なんてブラック企業大賞の弊社じゃ絶対言わない >>51
他の文書では弊社に1ミリも責任ありませんとか書くのだろうか ヒューマンエラーでデータ吹き飛ばすとかコピペになるレベルの悪行だけど作業員どうなんのこれ？ バックアップから復元できないのがある時点でバックアップじゃないだろ >>97
誰でも見てわかるレベルのミスやったんやろ
多分Linuxのログローテーションの設定ミスやぞ
2週間の未更新ファイルだけ消すヤツ 77Tってすごいな
俺の誇るエロ動画コレクションの約8倍あるじゃん >>1
カンマ区切りCSVで謝罪する感じ？
つか、作業者生きた心地のしない年末年始
になるね。。。 え！？もしかしてTRUNCATEで消したんじゃないだろうね！？ バックアップからのデータ消失ってソシャゲなら炎上してからのサ終コースやぞ バックアップ取る前にバックアップとってないのかよ・・・ これはアメリカからの強いメッセージが込められている LTOでバックアップだよね?
何で元データ消しちゃうの?
新しいHDDに入れ替えたら元HDDとっとけよ! >>9
派遣さんが半分くらいだから可能性高い
社員との賃金差も10倍はあるからモチベ下がるし 実行中のバックアップ用のシェルを上書きしちゃったらしい ＞影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)
ヒェッ これもうアメリカの陰謀だろ…
トロンの話と同じくらい言い伝えられそう どんだけ低脳なんだこいつら
実行中のやつに上書きなんて猿並みの知能があればやらないぞ >>47
最近かなり良くなってるよね、全然壊れない
チンコパッドはIBM時代からよく壊れたわ、俺の運が悪かっただけかもしれんけど ネットワークスペシャリストとかデータベーススペシャリストの出題ネタになりそう 京大側じゃなくてヒューレットパッカードがやらかしたのかよ すげーな
外資がここまで即土下座するなんて相当なやらかしなのか？ bashはスクリプト実行後も実行したスクリプトを適宜読み込んでる感じか
検証環境どうなってんだよ… HPE「弊社100%の責任」
アベ「私たちが責任を取ればいいというものではありません！」
これもうアベ反逆罪だろ >>39
中国かどうかはともかく普通に疑うべきだろ 国のトップレベルの研究機関のデータがまた他国から置いて行かれる 人ごとながら恐ろしすぎる
やらかしたやつは頭真っ白になっただろうな >>148
そうだよなスーパーコンピュータでなんとかならないのかなw >>89
ワロタロスｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ バックアップ処理作ってると疑心暗鬼に陥るよな
何度見直しても100%安心できない ミラーリングはバックアップじゃない
シェルスクリプト実行中に書き換えるな
もうこの手の常識の伝承が出来なくなるなってるんだなー >>21
計算結果が消えたということだろうから元データがあればやり直せばええんちゃう？ >>148
原発と一緒でどっかで絶対安全だと思ってたんだろうな HPが悪いと原因特定されるまで担当者は何も見えなくなってたろうな 安倍に都合の悪い研究結果がなかったという証拠はあるの？ >>66
絶対に、やってはいけないことを
やっちゃった。
ど素人かよ。 >>66
俺もBATで同じことやったことあるわ
俺＝HPか 削除処理なんて
できうる限りのチェック書いとけよ低脳土人 >>66
検証環境でテストしなかったんだろうか
信じられないな そのデータを蓄積するのにどれくらいかかったのか言ってくれないと やるべき手順を遵守してたら起きえなかった事故ではある
東海村JCO臨界事故みたいなもんだな
アメップさあ・・ 年末に仕事でデカイ爆弾爆発すると最悪よな
年末年始嫌な気分のままやし 御社のデータが削除されている件ですか？
100%弊社の責任です、私の責任ではありません
責任者の部長さんは現在お出かけになっておられます
また今度かけて下さい
(っ´・ω・`c)☎ﾁﾝ ちゃんとした謝罪を見るの凄い久しぶりな気がする
外資にオアシスはないのか マジでHPは鯖に使いたくねぇ～
企業向けだからHP使ってる所多いよな ミスって消した分がミラーされるのは俺もやったことあるわ
HPEがやって許されることじゃないが >>66
しかも未定義の変数を食う実装なのか
怖すぎ バックアップや紙媒体で研究資料が残っていればまだ救いはあるけど残ってなさそうな気がする バックアップシステムが他の所にもバックアップしろと抜かしてんのか？最後の一行 >>189
こんな馬鹿な人材がいるのがほんと怖いな >>174
変更内容としては問題ないけど処理中にソフトを上書きしてしまったから変数が空になってるのがあって誤動作したんじゃないか？
作業手順だけの問題じゃね >>195
プロセスチェックもしないとかレビューでぶっ殺されるわ 外資だから謝るとか関係ないぞここ風土からして日本企業と変わりない
単純に京大にしこたま怒られてこういう書き方になったんだろ
ちなみにHPとHPEは別会社だから スパコンって計算するときにSCPとかで手元のPCからデータぶち込んで使うようなイメージと思ってたけど、普段からデータ入れっぱにしとくもんなの？ 復元できますってことも安易に言えないのがつらいな
実際は簡単に復元できちゃうってことが世に知れ渡るとそれはそれでまずいという AmazonかGoogleのクラウド使えって
バカじゃねえのｗジジイ バッカップもミラーリングも全部消えたのか！？(・∀・) >>200
そう
秘伝のタレみたいに長年運用してたうえに脆弱性に気づくスキルの人材もいなかったからリスクを可視化できなかった バックアップシステムも完璧じゃないからそれ以外に自分でもバックアップしろって
まあそうなんだろうけども・・・ こういうのって「システムメンテナンス」中に行われるべき作業ってことかな
まじで派遣とか下請けの適当運用のせいなんじゃ？ 全面的にとかじゃなくて100%とか使っちゃうあたりに会社のレベルを感じちゃうんだけど HPだけに責任もHundred Percentってか？ なんでクラウド使ってないじいさんのファイル消えてしまうん？ 手順間違えると問題だからな
検証環境では正で通っても実際繋げてみたらその手順だと問題発生するみたいなことはある
ただやらかしの規模が大きい上に取り返せないからHPの関係者も真っ青にならざるをえないわな >>227
100%はスレタイだけど
マジバカだなおまえ 京大が容量ケチった報復に見える
shellでfindしてrmかけるとかバグったら終わりな30年前かよと思うレベルのスクリプトをサービス運用させられてるhpかわいそすぎ
どうせ学部生のほめぱげとか書き直せばいいTeXレポートばっかだろ 77tって個人ならとんでもない量だけど企業的にいったらそうでもないよな >>23
むしろコロナに効く薬の開発邪魔したとかだな >>242
100%のヒーローなんているわけないよ分かってるのに >>30
アメリカの人は100%こんな事言わないから
ジャップ法人のジャップが先走って言ってるんだろうな
後で本社からお叱りを受けて発言撤回まで見えます 増分バックアップないのって普通なの？
というかサイズがサイズだけに無理なん？ 大事なファイルは別にバックアップを取って置かないとね
京大もマヌケ 他国企業にやらせるなよ
完全にわざとだしデータはもうNSAが分析してるだろ 部品を日本で組み立ててメイドイントンキンとか天狗になってたんじゃないか？HP 手順とか運用の話だけとはとても思えないけど
ここまで雑に掘って雑にそのまま消すとか自分の環境でもゴミファイル整理する時にしかしない
学生としても個人としてもPC使った事無い新人と最初からオアシス決め込んでた老害の奇跡のコラボって感じ
hpでもこんなレベルなんだな >>174
タイミングによっては起きなそうな問題だし
今まで上手くいってたけど今回始めて起きちゃった感じがする
にしても初歩的なミスだな 深夜のメンテナンス作業で眠くて眠くて、ユーザーの伝票明細テーブルを間違ってTRUNCATEした。 システムがタスク処理だから他の処理中にスクリプト実行で誤動作
じゃあ根本的な問題解決しねーじゃん >>186
そもそもスクリプトの書き方が悪いな
未定義の変数にぶち当たったらそこでエラー終了させられないのか
他の言語とかだと止まるよね ヒューレット・パッカードだけじゃなくHPもシステム障害でPCの納期遅れてるし駄目だろこの会社
仕入先DELLに変えるわ 家のハードディスクが容量６テラくらいになってるわけで
スパコンで７７テラって
少なくね？ >>266
シェルスクリプトの後ろになんかオプションつければ回避できたはず
具体的には忘れた >>1
これだけの事しといて「どうぞよろしく」はアタマおかしいw 入社仕立ての頃運用系だったんでシェルスクリプト書いてたけど
実行中に書き換えたらどうなるんだろうと思ってテストしてみてやばいなって思ったことがある
懐かしいな
要はそんな新卒以下レベルのエンジニアが作業してるわけよ スパコンにやらせる仕事って
何かしらの演算なんだろ
元データはそら、それぞれ残ってるのでは 会社pcがdell→東芝→富士通になってるけど何考えて会社変えてんだろ
安いとこ行ってるだけかな 卒論修論のシーズンだと思うけど死人が出なければ良いね🤗 空襲や原爆で街が焼け野原になっても復興したジャップの忍耐強さなら大丈夫だろ こんな時のためのバックアップだろうが！と思うんだが
>バックアップするプログラムの不具合により
もはや何がしたいのかわからない
毎日のバックアップはプログラムでいいと思うけど
それとは別に、アナログで月イチぐらいバックアップ取ればいいのに
最悪１ヶ月前ぐらいまでの手戻りなら、ギリギリどうにかなることも多い
まあ本当に大事なデータは、個人個人こっそり勝手にDVDにバックアップしてるかもだが 弊社文とかごっこ遊び以外で使ってるやつマジでいるの面白いよな ヒューレット＆パッカードのそのサーバーのせいだよー >>281
まあそっちもそっちでなんかあったよね、個人向けPCだけど 勘違いしてる奴多いけど日本ヒューレット・パッカードは日本が経営してるヒューレット・パッカードの子会社🤫 な、ジャップランドではFAXが安心って分かっただろ？ 富士通やNECを断ってHPにした馬鹿が居るんだろうな 視認性の為に大きな代償を払ったな
怠惰な俺の大勝利だ >>218
メンテナンス期間にすればいいだけの話。
活線状態のものに手を出すのは原則ご法度。
それにしても例外対処の場合は色々チェックがかかるのが通例であることを
踏まえると、担当者が勝手にやったとかそういうレベルの事象だったのかも
しれない。パソコン大先生みたいな感じで。 こういったシステムはオペレーターエンジニアを含めての信頼性が大事だな >>24
クラウドもつまるところ物理的なサーバーに保存されてるんやで 結局Lenovoで正解やったんや
楽天リーベイツでお得やったしな Windowsみたいにファイルロック出来れば良いのにね >>195
HPは駄目やなこれ
まあ責任認めただけジャップよりはマシだがね ジャップ大学の研究データなんてそう重要なものは無いだろうから別に良いよ 活線状態で手を出すなら、まずは命令文を echo で出力して意図通りの
変換がなされているのか？とかをチェックすべきはず。どこかのテキストを
参考に書き換えて、そのまま意図通りの動作をするほど計算機は優しくない。 bashが随時読み込みとか初めて知ったわ
直前で変数チェックしてても実行時には空になってたって事か さすがに大事なファイルはバックアップ取ってあるだろ 大学とはいえ２日で７７Tはすげーな
高画質で世界のTV放送を録画したらそれぐらいになる？ HPのバックアップツールは全部英語だからなそのうちオペレーターの操作ミス起きるぞ >>308
コマンドライン叩いてるだけなんだからそりゃ随時なんじゃないの
先に全部キャッシュする方式取ってる所なんかあんのかな >>296
流石にこの作業レベルならちゃんと変更管理は回してると思う
作業者もレビュアーも発見できなかったんだとしたらレベル低い
勝手にやったなら更にやばいけど 反省点は動作中に動かしたことだけだろ
そんな仕様机上レビューとかで見つけられんわ >>319
設計がアホ
削除用アカ作ってそれしか知しらない派遣が手作業で十分だった >>318
というか研究成果盗める環境だわな
外資なんて入れたら >>319
本番環境へのリリース手順のレビューも普通はするよ
そこに実行中のプログラムを終了させる、終了を確認する手順を入れておけばよかっただけ
見落としたか、やってなかったかどちらかだろう 特定拡張子しか削除しない自作コマンドとか社内で共有しておけばよかったのにな 知識とかそういう問題じゃなくて運用中にやったの？
えぇ… 消失したファイルの多くは計算結果の途中出力とかで影響は軽微だろうけれど、
それでもバックアップによる復元が不可能な 4 グループは計算やり直しだろうな。
京大の情報環境機構のページによるとスパコンのサービスコースは原則年度毎
提供のよう。すると計算時間が月単位のものも多いはず。それのやり直しだけ
でも大変そう。
あと Fortran 環境も提供されているようだ。スパコン用にチューニングした
コードをここにしかおいていなかった人が居たとしたら、ノウハウも一緒に
吹っ飛んでしまっている恐れもあるのか。実に恐ろしい。 認めるのはいいがやらかした内容がとんでもなくあれだな
任せられんわ 京大でこのレベルって学術的な専門知識はあっても
大学ってIT素人なんだなぁ
こんな国でgaFAはうまれんな😁 内部的なセキュリティは京大側が担当しててガッチリしてたんやろね。
外部から強引に削除してしまえと指令があったんかな。 京大に謎の上から目線の底辺を見てると
なんか滑稽だな 古いシステムから継ぎ足し継ぎ足しで作ってそうだし未定義の変数には弱そうだよな ちょっと考えればこうなることがありうるのはわかってんのにバックアップ世代管理してないほうが100%悪い >>337
ソース読む限りRAID1はやってたみたいだよ このレベルのヘマした人ってやっぱ心臓バクバクするんかな. >>341
何十何百テラの世代管理とかお金かかるからね
仕方ないね つかスパコンっつても今どきはUNIXベースなのか？ -i prompt before every removal
があるのだから
だたの手抜き
確認しながら消せるからな
客を馬鹿にして楽しようとした結果
金はたんまりもらってるくせに ディスクフォーマット…？
なんの事だか分からんが実行ヨシ！ >>348
京大の情報環境機構の Web サイトによれば OS は RHEL らしい。 >>351
アホだろ。
慣れて連打するようになるだけ。 なんというか凄い平謝り
ジャップのゴミ企業が悶絶しちゃうぐらい よくそのレベルでヒューレットパッカード社に就職できたな >>66
クソワロタ
現場で聞いたらあーあるあるって笑える >>351
そうだよな！
プログラムで自動化するんじゃなくて何でも手入力が確実だよな！ ネトウヨ「中国のスパイに技術を盗まれる！」
現実はアメリカにやられるw 実際そうだよ複数人によるチェックを経て削除するべき
上司のハンコも必要 研究に投じた費用とか労力考えたら
損害賠償どころか >>337
削除コマンド発行と同時にRAID先も消えるだろ 100%自責と認めて補償も大学側の意向に沿う。担当技術者はクビだけじゃ済まなそうだな 普通は、シェルスクリプト実行中は実行ファイル上書きできない設定にするのに、それすらやらなかったのか あーでも安倍晋三記念国家だし意図的に消された可能性もあるのか >>367
ログなんてローテーションにして
定期的に外部にバックアップすればいいだけだからな
それならこの作業自体必要なかった
どんな低脳が設計したんだこれ ファーストサーバ事件を思い出したのは俺だけのようだな 今までのトランザクションログすら残してないって、ヒューレットパッカードがそんな仕事するのか これに近しいことは割りとやりそうで怖いなー気を付けよ ミスに気がついた時の心境とか考えると胸が苦しくなる Macのタイムカプセルみたいな仕組みは無いのか
大きな組織なら簡単にストレージの用意くらい出来そうなもんだが >>123
給金に対するモチベの比率って大事だよな バックアップとかいってるけど差分のRAID組んでるだろ普通 今この時最悪の心境で年越そうとしてる奴がいるんだよな >>386
給料低いと全ての行動が辞める為の準備になるからな >>370
おまじないにかくやつか
最近シェル書いてないな、、 >>395
派遣社員だろうし派遣登録解除されるだけ powershellって途中で例外出てもその先の処理続くよね
Linuxのシェルとかもそうなん？ バックアップがちゃんと取れてないことに昨日気づいて慌てて直した俺には心臓に悪いニュース 同じ業界でこの手の報告書をワイも書く立場にあるから分かるが
この100%表現はユーザー要求で入れたんだと思われる
ブチ切れしてるユーザー担当者が何%悪いと思ってるんか？みたい糞問答してきて100%って回答したら
それを報告書に書けよみたいな糞要求よ
起きてる障害の割に報告書もシンプル過ぎるし
この公開用とは別に10ページくらいの詳細報告書が必ずある HPは企業向けPCの覇権取ってサーバーにも力入れてたところなのにこれは痛手すぎるだろ batで同じようなことやったことあるので必ず終了させてから上書きするようにしてる こういうミスは起こるものだしミラーとる要件にしなかったやつが悪い >>403
でもお前が悪いんじゃん
何の役にも立たない経験値だな >>403
言うほど糞要求か？🤔
ヘマしたのそっちだろ 仮想通貨のストレージコイン運用してる俺らはPB当たり前なんよな findコマンドって
$find ファイル名
で絶対パス、カレントディレクトリからの相対パスを検索できるんだが
＞未定義の変数を含むfind
まさかとは思うけど
$find 未定義の変数
によって、カレントディレクトリに存在する全てのフィアル
検索して該当するファイルだけ削除したってことか
かなり端折るけど
$find 未定義の実行例
https://colab.research.google.com/drive/1VrEQNexQ_qjHfH_Sd7sPHObjmHODi0BP
さすがにもっと複雑でこんな単純では無いとは思うけど >>66
どんなドカタでもリリース作業前にはプロセスチェックするだろ
というか今知ったがシェルスクリプトって実行中にスクリプトファイル上書き保存すると次実行する行は上書きした行になるんだ、へー、ロードして実行してたわけではないんやな、怖っ、ピチョンとかヤバいやん わーくにのデータなんかどうせ都合良く改竄するからそんなファンタジー小説みたいなものに補償なんかする必要ないぞ 超デッカイミスをやらかしたときって、
組織的な要因があるのではあと疑われるから
逆に怒られなくなるんだよな データふっ飛ばしてからの空データバックアップ上書きって最近他にもなかったか >>1
はあああああああああああああああああああああああああああああああああああああああああああああああああああああああああああああ😱 >>432
派遣登録の独身だろうから契約解除で終わり >>66
うわー
やらかしたなこれ
やらかしたなｗｗ😹 >>260
定時の更新時間以外になにか必要に迫られて作業しちゃったんだろうな
作業者がスクリプト全部把握してるわけではないからな🙀 削除って
rm -rfか
iつけて保守要員にひたすらy押させてろよ、気づくだろ バッチ終了まで待ってたら定時で帰れないやん
給料安いししゃーない >>1
これってアメリカの国益のために消したのでは？
京大は外資にメンテさせる程だから中身の重要性に気付いていなかったと >>1
責任を認めるのがすごいわ
アメリカ人が世界を統治すべき >>66
シェルスクリプトを実行中に読み直すことなんてあるのか
何のためにそんな挙動にしてるのか分からんな
そんな動きすると思わないのも無理ないわ リリース時のヨシというか、バックアップスクリプトのヨシ案件であって
コーディングの時点で防がないとダメなんじゃないのか >>333
京大関係ねーだろ
単なる顧客だよ
HPがやらかしたんだよ😾 >>420みたらわかるけど想像はつくよ
コーディングの段階で。
だから未定義だった場合の対策も処理ももちろん書く
消していいファイルかどうかを精査する処理も必ず書く
それさえ書いてればミスって上書きリリースしようが大抵問題の手前で例外吐く >>446
なんかこれ説明おかしいよな
環境変数が吹っ飛んだって話だよね
それでfindの挙動がおかしくなった
シェルスクリプトの更新の時に環境変数をクリアしたんじゃないの
それで実行してるスクリプトが挙動おかしくした
凡ミスしたけど難しく書いて誤魔化してるだろこれ😾 修士論文や博士論文のデータ吹っ飛んでたら卒業できるんだろうか
流石に学生ならローカルファイルでもってるか ジャップってアメリカ外資にはおバカなほど無防備に腹見せてるよなあ
マイナンバー情報もアマゾンクラウドに保存するらしい
絶対盗聴される >>446
インタプリタ言語は全部そうだろ
実行中に自分自身のスクリプト内容を書き換えるなんてのもよくやるし サマリタンの仕業かも知れん。
フィンチと"マシン"ならなんとかしてくれる。 >>452
echo 1
sleep 10
echo 2
これを実行して10秒スリープしてる間に
echo 1
sleep 10
echo 3
に書き換えると
1
3
て出力される
この仕様知らなかったわ HPとヒューレット・パッカード混同してる馬鹿多いけどHPはHPでシステム障害で納期遅延しょっちゅうだから変わらんか
どちらにせよメインメーカーにするべきじゃないな データ置場じゃなくて計算用に借りる巨大マシンみたいなもんなんだろ？
実害ってそんなに無いんじゃないの？ >>60
真に大事なものはローカルに取ってる方がいいよ >>470
ファイルのアドレス変わらないんだしそりゃそうとしか >>453
修士論文はやばいのがありそうな予感。この計算結果が骨子に来る論文構成に
なっているものがあってもおかしくないから。
一方、博士論文は基本それまでの論文集大成のはずだから、全体構成からみて
補充が必要と考えたものを追加計算しているくらいだから被害は相対的には
小さそう。とは言え準備の余裕がなくなったりで大変ではあろう。博士号が
出るのが遅れる程度の影響はあるかもしれない。 >>66
動作中の環境の実行ファイルを書き換えるなよ >>470
Linuxユーザーなら一度くらいは実行のシェル書き換えて痛い目に遭うとは思う
だが、それを本番かつ客先でやるかよ えっ
そのセンター長ってやつ万一に備えて自分でバックアップとってなかったの？
まさか機械に丸投げで責任取らないの？
じゃあなんのための責任者なの？
ありえないよ？ 活線のところで作業する迂闊さは着目されるべきだけれど、 bash の
この仕様は自分も知らなかったし、怖いと感じた。
スクリプトを書いた人が cron の設定を含め明示的に読み込み、実行
指示を出す以外のタイミングで動作するという実装は怖い。意図せずに
変更してしまったとか偶発的な事象は防ごうとしても起きてしまうし。 Windowsバッチもそうだが実行中に置き換えられて
新しく起き変わったやつで後続走るから恐ろしい シェルスクリプトは全部メモリーにリードされてると思ってたわ…
cshは違うかな >>482
複数のスクリプト多段で動かしてたら案外気付かないと思うよ
スコープ終ったと勘違いして書き換えちゃったんでしょこれ ジャンプランド特有のカイザン、ショウシツ、フメイ
なんだろ🤖 スクリプトからスクリプト動かして最初のプロセスが消えたから上書きしても大丈夫だと思ったのか GDP統計の公文書改ざんしても無罪なんだから、これも賠償金０円だろ 運用管理ソフトは何使ってんだろうね
まさかとは思うけどスクリプトだけでわ構築してる訳じゃ無いよな バックアップシステムって大抵トラブって役に立たない >>495
NECとか富士通なら厳重注意で終わりそう >>497
変数の文字列にpath=まで含めるの可能なのかヤバいな >>496
大学だから案外そんな感じかもね
いくら京大とはいえ、学生サンや学生サン上がりの職員は、JP1とかチボリとか知らないだろうし、
興味もないだろうから。
「OSSと自作シェルスクリプトだけでスパコンを運用する俺たちカッケー」みたいな >>35
そんな凄まじいのか？
10TBのHDDでも4万ぐらいだよ こういうのはアメリカ合衆国大統領がCIAの命令書にサインしたんだろうな
これぞ属国ってかんじするよ 最初にゴミ渡しといて無駄な営業かけるとかもやってそう
全部認めたから誠意がある！(笑) >>497
なるほど
って言うかこれはファイルシステムの権限の問題だよな
UNIXのファイルシステムのwって権限は大雑把過ぎる >>478
でも、バイナリの実行ファイルだったら実行前にロックされるから、こうならないぞ。 >>66
多分cronとかで定時実行していて、それが全体で何時間もかかっていたので、忘れた、というかいつまで実行続くか、
把握してなかったんだろ
AJSとか使ってなければ、cronスクリプトが今どうなってるかなんて、気にしないからな >>504
今回消えたのは77 TBだが、ディスク容量自体は25 PBだぞ？ hdd10tbが5000円とかにはいつになったらなるの？
昔は160GB1万とかで、今気がついたら2TBが7000円とかになってたけど
ここまで来るのにどれだけの年月かけたんだよ
もっとこうがっつりと大容量化&安価は進まんのか？ mvで送り先のディレクトリ名ミスって
同じファイル名で上書きされまくって
大量のファイル消滅したことあるは
testdiskで何とか救出したけど 仮に「HPが出来る損害リカバリー策」を考えてみた。
今回の一件で2週間前から運用ストップしてるし、
その間のタイムスケジュールが無茶苦茶に。
学会発表とか絡んでいたら再計算処理の期限厳守は絶対条件。
よって
「自社が抱えるリソースを全て使って仮設の環境を複数用意してパラレル処理。
OSやその他のソフトウェア・ライセンスも全部HP持ち。
要望があれば環境構築やサポート支援要員も年末年始関係無しで専従張り付き。」
…これでも産学共同で外部環境での処理不可とかだったら詰むんだけどね。 IPSも入ってんのう？
教授ごと全部持っていくもりか >>513
HPならやるかもしてないけど
企業の契約に運用で無限責任とかは普通はないだろう 自分の責任言ってるって事はCIAエージェント混ざってたろw >>504
いや時間がかかりすぎるから事実上バックが取れないんじゃないか
どんなメディアかしらんがSSDの速度はでないだろうし
やろうと思えば何日もかかるわな 山中教授の研究成果データも山中教授しか持ってないわけか ( ﾟДﾟ)「くくく。ヒューレットパッカードはアメリカの会社」
(´・ω・)「CIAの手下でもある。京都大学のスパコンのデータを故意に消したんだろう」
( ﾟДﾟ)「中国の優秀な技術者に日本のスパコンを守らせないといけない」 アメリカは日本のことを今でも猿だと馬鹿にしてるからな
アメリカ様に都合の悪いデータが消されたのかもよ 本番環境のシステムを勝手にいじって障害起こす寸前になってしまってめちゃくちゃ怒られたことあるけど似たようなことってよくあるの？ シェルスクリプトは歴史的経緯で意味不明な事多すぎるわ >>15
じゃあしょうがないなとなる国民も国民だわ >>523
そもそも自身を書き換え可能なのがハッキングツールとして使いたい為のアメリカが作った仕様なのかもな というかRHなら
SELinuxでこまかく制限しとけば消されることもなかっただろ
無能の馬鹿しかいないんだろなまじで >>515
プレスリリースを読む限り「HPEが物理的にできる事はやらざるを得ない全面降伏」感があるんだよね。
確かに運用に関する絶対責任を普通追わないからこそ、メーカーがここまでの文章、発表する事自体が相当なこと。
復旧不可ダメージを受けた4グループの中に「次の学会に発表する筈だったが出来なくなった研究」があって、類似の研究が他大学や企業が先に発表してしまった場合の損害賠償ってなると金じゃないから、もう落とし所がない。
発覚してから約10日、担当者はまともに寝ていないだろう。
加害者側、被害者側、双方で大袈裟じゃなくて何人かの人生書き換わったレベル。 つーか、従業員のオペミス以外で77TBのデータ消失事件とか
エンタープライズ領域だと聞いたこと無いけどｗｗｗ
どんだけ杜撰なシステム管理してたんだよ
ジャップの大学はｗｗｗｗｗｗ バックアップソフトの不具合って言うけど、どういうこと？
もし仮にSAN系のミドルの不具合でこうなったのなら、京大以外でも大量に
類似事例が出て大問題になってるよね？
日経コンピュータはすっぱ抜いてくれないものかしらｗｗｗ ここは我が国の誇るデジタル庁とかいう宴会専業機関に取り持ってもらおう まーた
CIAが日本のコンピューター技術潰してんのか
w よりによって全学環境だから、損害は発生してから10日では「プライスレス」としか言えない。
端的に言うとユーティリティツールのリリース品質管理の失敗なんだけど、ストレージ弄る奴は怖いなぁ。
普通のサーバでもRAIDボードのチップのファームウェアのバクとかは有るんだけどね。 京大ベンチャーの次世代半導体の研究データが全部消えてたりしてな >>523
原因読んできたけど、システム止めずにリリースしたせいで、実行中の古いVerのスクリプトと
リリースしたばかりの新しいVerのスクリプトが混ざった状態で実行
新Verは変数定義を弄っていたので、コマンドの一部のパラメーターが損失した状態で
コマンド実行 → 大量ファイル消去の大惨事
ってことか？
リリース手順が杜撰すぎやろｗｗｗ バックアップジョブの組み方は半世紀は進歩してないと思う。
コピーを取ったあと消すというか動作が雑に組まれてるからな バックアップのバックアップのバックアップも必要だ！ >>538
インフラ屋にあるまじき杜撰さだｗ
無停止でのリリースはいいとしても、せめてステージング環境でのリリース試験ぐらいしてなかったのか >>543
馘だけならまだいいけど、>>530 が言うように復旧や代替手段の確保をしないといけない現場が大変だよ
再計算で復旧出来るデータならリソースをつぎ込めば何とかなるけど、二次データや外部連携で作られたデータはかなり厳しい >>230
これバックアップスクリプトのやらかしだから
クラウドでも消えるぞ お、テンプレ謝罪か
反省してないなこれ
ごめんなさい
再発防止します
終わり >>547
クラウドでもオンプレ的な使い方をしてると遭遇しうる問題だね
ただ、プラットフォーマー側はデータは冗長化してニアラインでの保存だから消失はほぼないかな
たまに動かない機能や落ちるデータセンターはあるけど >>21
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可) こういうの見るとシステムの仕事って恐ろしいなと思うわ クラウド側のやらかしと言えば、ファーストサーバがあったっけ
あれは2012年で、もう10年経つのか >>209
25PBをクラウドで管理したらいくらかかるのか。。。 >>555
Azureのホットの場合、$391,300/月なので115円換算だと\44,999,500で約4500万円/月か
容量に比べたら意外に安いかも
https://azure.microsoft.com/ja-jp/pricing/details/storage/blobs/ ゲートウェイの事を何度訂正して教えても
ゲッタウェイとしか言えなかった上司は今頃ボケてるんだろうなぁ そもそも何でシェル芸で運用してんだよpythonぐらい入れろや なんで最新の技術者が過去の抜き身の遺物をそのまま使ってるんだ？ 円周率とか最大の素数とかが消えてわからなくなったってこと？
どうでもいい。 どうせ初心者が作業やらされて、そらでfindしてrmしたろ
俺にはわかる ミラーリングはバックアップではない・・・
何度も言ったよね？ 作業者と作業手順とシェル仕様の組み合わせによる不幸な事故っぽく経緯まとめてるけど
そもそもの設計がおかしいよね >>571
これ。
実行中のシェルスクリプトを途中で書き換えて、バイト単位で差分が反映される需要なんて皆無だろ。 俺が職場でミスしたときに上司から書き直しせと言われた報告書を思い出す書き方だわ
なんだかとても辛くなった >>89
僕たちが持てるデータ永遠に忘れないでねー 77TBって一見すごい容量だけど
もう16TBのHDDとか普通に売ってるんだね バックアップをもう1世代増やしますってどうせそれも消してじゃあさらにもう1世代とかやるやつや HPサポートが糞すぎるしなｗ
現行で販売してる5万ほどのモニタの修理見積もり15万とかクソ見てえな事言われて喧嘩になったわｗ >>30
たぶん客にそう書けって指定されたんだろうな 現時点でHPEのサイトに今回の件が掲載されていない。
この手の話って、たとえ年末年始休業中であろうが載せるべき事項の様な気がするんだけどなぁ。 ゆうてもスパコンの計算クラスだと大容量ストレージから高速ストレージに計算のデータソースをロードした上で実行するから取り返しはつくんじゃないの？ >>437
スクリプト実行中だったら処理を見合わせるみたいなスクリプトにできないんか？
同じスクリプトを二重起動しただけでも詰むだろこんなん バックアップ1箇所だけとかありえないだろ
まだお前らのほうが堅固なバックアップシステム築いてるよな >>588
ディスク容量25PBだけど、一体何ヶ所バックアップする気？ 自称IT博士（笑）のジャップが「クラウド！」とかドヤッてて笑いが止まらない
知能ないお前ら猿は身の程を理解しろよｗ >>452
絶対パスにしてたところに入れた変数がブランクになって相対パスになったとか たぶん日本人スタッフだろ
HP本社ならこんな失態を犯すわけない >>594
そうだな
もし消えたんだったらわざとだな デルレノボHPで買った事あるけど
HPのパソコンが一番良く壊れたからなんか納得してしまう >>550
オンプレ的っていうかbashの仕様だから、オンプレだろうがクラウドだろうが
ケンモジサンのls専門ウブンチューだろうが、
同じことやったら全く同じように消えるよ 個人の持ってるデータ容量が数テラバイトある時代に
大学のスパコンが77テラってちょっと少なくね？ 京大レベルで障害対策がミラーリングのみってことなのか？
あと「ミラーリングによるバックアップ」って表現おかしいだろ・・・
jkjkjkjk... 餅は餅屋だからな
なんぼ頭良くても知らん事は知らん >>82
むしろ訴訟大国のアメリカ企業なんて日本以上に謝ったら負けだぞ
本社から怒られるだろ >>571
バックアッププログラムがシェルで描かれてるのがそもそもおかしい
Findコマンドで差分バックアップなんて俺が3秒で考えつくレベル Linuxなんだろ？
LinuxはGUI操作じゃなくてコマンド操作だからヒューマンエラーが多くなるよな >>420
pathの中に変数があって未定義ならエラー吐く印象しかないけど
bashってそのまま実行するのか プログラムのプロじゃなくてもbash上のシエルスクリプト動作中にスクリプト走らせるとかやばいのわかるわ
しかも兄弟のスパコン物凄い演算速度でしょ >>603
消えたサイズが77TBってだけで、ディスク容量は24PB >>613
手元で試してみたら csh 系は undefined をはいて、Bourne shell 系は
NULL を返すようだ。系列で振る舞いが違うとか実に面倒なパターンだな。
csh 系でシェルスクリプトをかくのはご法度とは言えね。 >>169
だよね、
windowsのコマンドプロンプトでも起きるよね(起こしたし…)
bash云々って言い訳でしかないわ いずれにしてもまともな単体テストやってないよね
変数に値がなかったり、存在しないパスを渡したり
大文字のみ、小文字のみのパスを渡したりとか >>621
じゃあこれはどういう問題で何をすれば未然に防げたか言葉で表現できる？
スパコンと言えども
同じ処理系でスケールダウンした環境用意できると思うけど 普通バッチが止まっていることを確認してから更新するよね >>600
言葉が足りなかったか
クラウド使ってても、オンプレの時と同様に仮想マシンに運用スクリプトを仕込んでれば当然起こりうる話だってこと
AWSだのAzureだのは仮想マシンにしなくてもサービスやらストレージは使えるし、ストレージのバックアップ機能も提供してるからそっちなら従来の運用手法にはならんでしょ、と言いたかった >>624
もしかしてスクリプトレベルの改修なら
テストしないで納品するのが当たり前だと思ってるの？ なんとか京大を叩こうとしている底辺がチラホラいてウケるわ ファイルはmvしてから消す
これでかなり安全になる
元から言えば、大切なデータなら非定型なログ形式でのこしておこうというのが間違い
ちゃんと正規化してDBに放り込め これだから自称冗長性有りのクラウドサービスつこうててもバックアップだけはオンプレミスで保管すべきなんだよ >>66
これはひどいね
LispやSchemeの素養があれば再帰的に書けたはず
それにちゃんとシステムプログラミング用の言語でガッチリ作られたものじゃなくてただのシェルなんだな
まあシェルでもできるけどさぁHPくらいの会社ならちゃんとしたモノ作ってると思った hpには中国人の社員がいるからな
あと千人計画に加担したハーバード大学の教授とかいるしね。何気に中国共産党にマンセーしている生粋の白人アメリカ人はかなりいる ＤＣなら普通は定期的にLTOでバックアップ取るよね SSDはゴミだから論外として
HDDだけじゃなくて磁気テープも使って冗長化しておけば
こんなことにならなかっただろうに ヒューレット・パッカードって昔は車のメーカーだったろ
今パソコン屋なんか >>640
難しいな。問題のfindコマンドが実行されるよりも先に、新版リリースして上書きしないと、
テストしても再現しない。問題の箇所は、時刻ぴったりとかで始まるわけじゃないから。
「find-rmの始まる前に上書きしても大丈夫か、テストケースに加えよう」
って発想ができるなら、そもそもそんな手順にしないから スパコンって普通のPCじゃ出来ないようなシミュレーションなりでしか使わずデータは入ってない印象だがそうでも無いんだな
データ量的にファイルサーバーとしても兼ねてたのかね 間違った手順でやったらどういうことが起こるか、失敗学の素養がゼロ ファイルに吐き出すとか余計なことしたからダメだったな。
-exec rm {};みたいな決まり文句で済ませればよかった >>648
千人計画はソースあり
ハーバード大教授有罪 中国の大学からも報酬 米政府に虚偽説明
2021年12月23日 9時04分
アメリカの名門、ハーバード大学で学部長を務めた教授が国防総省などから研究費を得ながら、中国の大学とも契約を結んで報酬を得ていたのに、
政府に隠したうえで、うその説明をしたとして、連邦裁判所の陪審は有罪の評決を言い渡しました。
https://www3.nhk.or.jp/news/html/20211223/k10013400161000.html 日本HPに任せるとか・・それ米HPとは別モンだからね しっかり謝れる日本が帰ってきた
それだけで涙が出てくるほど嬉しいです プログラミングとか全くわからんのだが、バックアップってあるもんじゃないの？エクセルですらあるやん バックアッププログラムのバグでファイルシステムのルートから全部吹っ飛ばしたから既にバックアップ取れてた分以外が消失してしまったという話なんですわ >>660
動作中に上書きとかしてるとはいえそもそもrmに渡す値のチェック入れてれば防げたんだからバグでもある >>661
動作中のスクリプト上書きでもそのチェックが正しく動く保証はない。 >>663
読み込まれる単位決まってるんだから上書きされた時に機能するように書くか
それができないなら更新適用する上物の方のプログラムを直すかして 正直、末端担当者レベルじゃ分かりようも無いよなこれ
裏で動いてるバッチの詳細な仕様とか理解できるわけない
どちらかっつーとなんでバックアップ体制整ってないのって感想
これから増分バックアップ始めますとかさ… 実害殆ど無かったのか、大した計算請け負って無い時期で良かったな ファーストサーバ「データが飛んだ？自己責任だろwwww」 >>666
最大250GB/sで発生するデータを“ちゃんと”バックアップ取るのは大変だぞ。 合同会社って書いてあるじゃん
株式なんて流通してるどころか・・・ないんじゃね？ >>667
まあまた計算すればいいので
全体から言えばそうなんだろ >>672
アメリカ企業の日本法人は合同会社な事が多いぞ
株主総会が不要なのが便利だとか 年収400万の偽装請負派遣に一人で作業させたんじゃねーの? HPのPC/鯖部門はかつて合併したComaqの系譜
合併で社名はHPになったが、PC事業で存続したのはCompaq側 そういえば国際宇宙ステーションで使われるPCやサーバも以前はIBMからの流れでThinkPadやThinkシリーズだったが
もうずいぶん前からHPの製品に入れ替わっているんだよな
まあ何とは言わんが、さすがにLenovoはアレって事になったか… >>682
そうか、その流れがあったな
つことは、HP=HP＋Comaq＋DECだよな 割と名門（人が残ってれば） これ見たらプログラマやってたころ書いた不要ログ削除のスクリプトが今でもちゃんと動いてるか心配になったわ
新人の頃にこのくらいのスクリプトなら書けるだろって任されて四苦八苦しながら書いたやつだから怖い Hewlett Packard Enterprise が Hit Point Empty になってしまったのか HPですらこんなもんだからみずほ案件だってあの程度で済んでるのは奇跡だよね
ユルシタ >>686
ログローテーションって結構めんどくさいんだよな
分かるわ >>682
鯖とNWスイッチ、企業向けソフトウェアがHPE（件の日本ヒューレット・パッカード）
クライアントPC（デスクトップ/ノート）やプリンター、プロ向け印刷機事業がHP（日本HP）
DECは前者 そういや会社分割が発表された頃
HPはHとPに分かれるなんてジョークも海外で出ていたなｗ 素人はWindowsにしろよ
消してもゴミ箱に残るから ■ このスレッドは過去ログ倉庫に格納されています
