KVS入門にまつわるKVSな議論 - Togetter
Twitterのつぶやきマッシュアップメディア!
@togetter_jpをフォロー
マイページ
メニュー
設定
ログイン
トップ
ニュース
社会
地域
芸能・スポーツ
IT・Web
科学・教養
カルチャー
趣味
生活
仕事
ネタ・お笑い
ログ・日記
震災
311
支援
iwj
東電
大喜利
三国志
放射能
速報
国内
アジア
アメリカ
ヨーロッパ
その他
政治
経済
国際
法律
環境
コラム
東京
東京近郊
北海道
東北
関東
北陸・信越
東海
近畿
中国・四国
九州・沖縄
海外
芸能
テレビ
ラジオ
野球
サッカー
ゴルフ
格闘技
競馬
モータースポーツ
その他
Android
Apple
インターネット
パソコン
モバイル
ガジェット
サイト制作
プログラミング
その他
科学
テクノロジー
エネルギー
数学
物理
宇宙
自然
人文
建築
心理
その他
アニメ
ゲーム
マンガ
アイドル
映画
音楽
書籍
演劇
ファッション
社会学
カメラ
車・バイク
電車
旅行
釣り
歴史
アート
デザイン
動物
その他
ハウツー
レシピ
グルメ
恋愛
マネー
節約
健康・医療
教育
ペット
起業・ベンチャー
経営
マーケティング
会計・人事
法務
就職・転職
語学・資格
ネタ
お笑い
大喜利
画像・動画
やってみた
その他
ログ
日記
思い出
雑談
メモ
飲み会
議事録
イベント
セミナー
復興
原発
支援
政府
自治体
トップ
>
トップ
>
311
> KVS入門にまつわるKVSな議論
2010/05/21 16:08:15
cassandra
kvs入門
ibm
kvs
memcached
+
KVS入門にまつわるKVSな議論
IBMが作成した"KVS入門"をめぐる議論。
by
rika_t
7 fav
1869 view
Fav
7
お気に入りに登録ならここをクリック!
まとめ
メニューを開く
一括削除
「KVS入門」公開しました!KVSを初めて学ぶ方を意識して、厳密性は多少犠牲にして、分かりやすく書いています。(BASEな感じで。。。)改善コメントWelcomeです。
http://bit.ly/d3ld95
返信する
RTする
ふぁぼる
enakai00
2010/05/19 15:02:16
拝見しました。初心者に優しい内容で良いですね。2点改善コメントがあります(続く)QT
@enakai00
:「KVS入門」公開しました!KVSを初めて学ぶ方を意識して、厳密性は多少犠牲にして、分かりやすく書いています。
http://bit.ly/d3ld95
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:00:16
.
@enakai00
まず、 HBase の管理ノードがSPOFと書かれてますが、これはどのノードでしょうか? もしHBase Masterでしたら、実際はActive - Stand by構成に対応してます。 HBase multiple mastersで検索してください
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:15:00
.
@enakai00
もしSPOFが HDFS Name Node のことでしたら、それは正しいです。ちょっと苦しいのですか、DRDBとHeartbeatで回避するのが一般的なようです。Hadoopユーザー会のNTT Dataさんの資料で紹介されていたと思います。
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:16:15
.
@enakai00
もう一点は細かい話なのですが、 HBase は、4月の下旬から Apache Software Foundation のTLP(トップレベルプロジェクト)になりました。現在、メーリングリストやサイトのURLを移行中です
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:20:40
@enakai00
cassandraのデータモデルというところが、HBaseが主語になってます。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:26:37
@tatsuya6502
DRBD+Heartbeatもいいですが、NameNode自体で冗長化してほしいところですよね。AvatorNameNodeに期待してます。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:27:31
@enakai00
あ、失礼しました。HBaseとの比較のためにそういう書き方をしているのですね。私の読み方がまずかったです。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:28:40
@enakai00
ACID特性という切り口でも良いのですが、CAPのどれを重視しているのかという観点があるともっとよくなると思いました。HBaseとCassandraの違いがよくわかるので。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:41:07
@enakai00
ACID特性という切り口でも良いのですが、CAPのどれを重視しているのかという観点があるともっとよくなると思いました。HBaseとCassandraの違いがよくわかるので。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:41:07
@tatsuya6502
もろもろコメントありがとうございます。はい。SPOFはHDFSのNameNode / SecondaryNameNodeです。補足しておきますね。TLP移行のところも補足しておきます。
返信する
RTする
ふぁぼる
enakai00
2010/05/19 21:07:38
@shot6
CAPの記述も考えたのですが、(このガイドの読者として意識している)RDBな世界の方には、ACIDとCAPの微妙な定義の違いから入らないといけないのと、ACIDに比べて歴史の短いCAPは人によって定義が変わることがあるので、とりあえず、避けました。。。
返信する
RTする
ふぁぼる
enakai00
2010/05/19 21:30:24
@enakai00
KVS入門を拝見しました。「KVSの特徴」ですが、そこに至る文脈から『KVS=BigTableライク・column-orientedなもの』とは読み取れます。しかしmemcache系のシンプルなデータモデルのものはKVには含まれないようにも読み取れてしまいます
返信する
RTする
ふぁぼる
terurou
2010/05/19 21:51:33
@terurou
はい。広い意味では、memcachedもKVSと考えています。が、KVSという言葉の歴史が浅く、人によって定義がことなることがあるので、この資料では、Bigtableライクなものに記述をしぼっています。(とはいえ、コメントはつけておきます。)
返信する
RTする
ふぁぼる
enakai00
2010/05/19 22:08:43
@enakai00
CAPの定義があまり変わるとは思えませんです。ACIDだけでは重要なP(分割耐性)が説明できないので、そこは補足すべきではと思うのですがいかがでしょうか。
返信する
RTする
ふぁぼる
shot6
2010/05/19 23:11:01
@shot6
なるほど。。。ちなみに、C, A, P をそれぞれ、どのように定義されています?(私の頭の中の定義がそもそも違うとどうしようもないので。。。。)
返信する
RTする
ふぁぼる
enakai00
2010/05/19 23:21:44
@enakai00
140文字で書くのも難しいですが、BrewerのCAP定理のとおりConsistency、Availability、Partition Toleranceですね。Pの解釈ですが、ネットワークが分断されたときにシステム全体が停止せず動作するかどうか、です。
返信する
RTする
ふぁぼる
shot6
2010/05/19 23:29:51
@shot6
・・・とすると、例えば、HDFSの標準的な構成では、クラスターが2つに分断されるとデータブロックの不足でHDFSが停止する可能性があるので、HBaseはPが○にならない気がしますが、この理解はあってますか?
返信する
RTする
ふぁぼる
enakai00
2010/05/19 23:36:36
@enakai00
そうですね。HBaseはCAPでいうとCAを重視していると思います。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:03:42
一貫性の話も、読み込み時にクライアントから見える一貫性の話と、実際の永続化したデータとしての一貫性の話というパースペクティブの違いも実はありますね。突き詰めるとConsistentとは何か、というはなしに・・・
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:08:14
@shot6
うーん。
http://bit.ly/cxErPX
を読むと、「分割したらConsistencyを欠く結果を出さない様、分割が回復するまで待つ(その間システムは停止する)」のもOKなのがPの定義です。この定義だとHBaseはPが○?CAPに詳しい方、ヘルプを。。。
返信する
RTする
ふぁぼる
enakai00
2010/05/20 00:13:53
@enakai00
HBaseはPが得意ではないですね。仰るようにHDFSのノードダウンでのブロック不足の場合ダメですから。そのケースではDataNodeが復旧されるまで待つことになります。ご指摘の部分はCAP定義の部分ではなく、分解耐性諦め路線の場合の対策という理解です。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:21:12
お世話になったこともあるので、あえて書きますが、「KVSとは」が、memcache と Column Oriented と設計思想の異なるものがなぜか一緒くたに書かれているので、"入門"としてはすごくまずい気がします。 to
@enakai00
返信する
RTする
ふぁぼる
yssk22
2010/05/20 00:23:33
@yssk22
なるほど。そこでしたか。ありがとうございます。
返信する
RTする
ふぁぼる
enakai00
2010/05/20 00:34:45
というわけでACMであさってみた。Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web servicesというのは発見。明日読んでみます。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:35:12
Content from Twitter
残りを読む(51)
ブログへ
iframe版
拡張版
張付けプレビュー
Fav
7
あわせて読みたい
flashcacheの諸情報!
mixi 接続障害に関するCTOコメント
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
第3回クラウド勉強会「~NoSQL(KVS)大集合~」 #cloudstudy まとめ
CTO48がつぶやいた2010年8月のミクシィ障害関連のツイートまとめ
powered by Preferred Infrastructure
コメント
現時点までの議論を追加。
返信
rika_t
2010/05/23 16:23:15
0
コメントを入力してください。
Twitterにも投稿する
みんなのおすすめ商品
商品を編集
おすすめ商品を登録する
設定を変更する
まとめを作成する
プロフィール
フォローする
まだ自己紹介が設定されていません。
rika_t
twitter
rss
アップデート
まとめ
1
2
KVS入門にまつわるKVSな議論
コメント
1
新着のまとめ
真面目に働いて生活保護以下なら生活保護は受けら..
new
EXO ep
new
旭川ご当地ヒーローカムイエースさん名言集
new
ひとりごと
new
本日が誕生日/命日の音楽関係者(5月31日分)..
new
もっと見る
@togetter_jp
最近追加された商品
音楽ビジネス著作権入門―はじめて学ぶ人にもわかる権利の仕組み
図解 これだけ覚える著作権入門
巨人の星(6) (講談社漫画文庫)
プロケースワーカー100の心得―福祉事務所・生活保護担当員の現場でしたたかに生き抜く法
俺の妹がこんなに可愛いわけがない ポーチ 桐乃水着
オススメ
マイスター
トゥギャ通
チェルノブイリの被災者
頑張れ、米本君!!
某司法書士が作った珍妙なエコバッグについて
生活保護に関する、渡邊芳之(ynabe39)さ..
第20回ネットスクエアード東京ミートアップ:ソ..
new
TEDを使ってリーディング・リスニング・ライテ..
もっと見る
#日韓W杯開幕当時の自分に言っても信じないこと..
new
みんなのかんがえたさいきょうの都道府県EVOL..
new
河本準一、妻の母も生活保護を受給!
new
恥と気高さ
new
クローズアップ現代「フィルム映画の灯を守りたい..
new
茂木健一郎(@kenichiromogi)さん..
new
もっと見る
第80回「日食写真と昭和格差」
号外「みんなの金環日食まとめ―画像から教養ま..
第79回「虚構新聞とJリーグ」
第78回「コンプガチャとIT系かあちゃん」
第77回「びろーんと自宅警備隊」
第76回「Appleとパンツクッキー」
もっと見る
コメント