データストア障害でエンティティが消えた疑惑
2010/05/26早朝に発生した障害の後で、エンティティが行方不明になる・状態が古くなる、といった報告が相次いだのでまとめてみた。
by shin1ogawa0 fav 1530 view
お気に入りに登録ならここをクリック！
まとめ
メニューを開く-
今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
おぉ・・・消えるの・・？ RT @funyamora: 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
@funyamora まじすか。不穏な例外とかはログに残ってませんか。 -
え！？ RT @funyamora 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
-
mjsk？ RT @funyamora: 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
消えるって。。。RT @funyamora: 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
インデックス破損ならputしなおしで直るかもしれません RT @funyamora: 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
@shin1ogawa 実証実験してないので何とも言えないですが、Applyフェーズに失敗したら、キーを覚えておいてトランザクションで読まないとKindlessクエリでは引っかからない気もします -
@ashigeru Applyフェーズのエンティティテーブルへの反映に失敗したら例外（DSFailtureかCommittedButStilApply）が飛んで来そうな気がしますけど、どうなんでしょう。
-
@shin1ogawa get時にDatastoreFailureExceptionがけっこう出てました。read-onlyになってたみたいなのでput時に出るのはわかるんですが。
-
@shin1ogawa あぁ、そういやそうですね＞Apply。あとはEventualモードを無意識に使っていて、マスタノードが落ちているとかくらいですか
-
@funyamora getでDatastoreFailureExceptionが出るんですか。Consistencyの設定をEVENTUALLYにしたらどうなりますかねぇ。
-
@ashigeru TLで見れてるとは思いますけど、ふにゃもらさんの報告だとgetでDSFailureだそうです…。
-
@shin1ogawa DSFailureはEVENTUALLYでもSTRONGでも起こりうるとは思います。でもSTRONGならマスタノードから読めない時点で失敗するはず
-
@ashigeru はい。ふにゃもらさんの状況はマスタから読めずにDSFailureなのかなーと。しかし考えてみるとGetでDSFailureって事は。applyフェーズが終わってないから読めない（entityへのapply待ち状態）、って事かな？と想像してます。
-
@shin1ogawa read-onlyモードはどの層でR/Oなのかちょっと不明ですね。予想ではレプリケーションがうまくいかなくなる(DC分断)のリスク回避で、個々のBigtableに本当に書き込みできないのかどうかは不明です
-
@ashigeru そのあたりも情報が欲しいですねぇ〜〜
-
正確に言うと、消えたことは確認できてなく初期化されてしまっている状態です。getでEntityNotFoundExceptionが発生したら、Entityを初期化するようにしています。 RT @bufferings: おぉ・・・消えるの・・？ RT @funyamora: 今朝の
-
@shin1ogawa DatastoreFailureExceptionが出てたのは障害中のことで、今現在は発生してないです。
-
@funyamora 貴重な情報をありがとうございます。今はそのKeyを使ってもGetできなくなっちゃってるって事ですね…。それなら消えてそう…。
-
me too RT @funyamora: 今朝の障害の影響だと思うんだけど、消えてしまったEntityがあるみたいだ。 #appengine -
put出来てたはずのものが無い（新規作成put）、更新したはずなのに更新内容が戻ってる(上書きput) みたいなかんじ。切り替えたときに”一部EGだけ”ちょっと古いスナップショットで復旧しました的な状況にみえる #appengine
-
エラーになったインデックスの削除が終わらない。もう7時間経ってます。こればかりはしょうがないか。 #appengine
-
Content from Twitter
コメント