まとめ
メニューを開く-
ぇGlusterFSで分散ファイルシステムを構成してDRBDいらずにするとかそういう？ -
と言うか今気付いたけど、HDFSの代わりにGlusterFSって結構アリなんじゃないか…
-
[緩募] GlusterFSのメタデータ保持方法のドキュメント #hadoop_unconf_jp -
ただSPOFが無いところと管理のしやすさ、扱いやすさでGlusterFSはかなりイケてる。もっとちゃんと挙動を把握しておかないと…
-
@disktnk かなり色んな使い道があるのですが、僕は20GB以下の非バッチのIn-memoryデータ集計時に自前のMapReduceを書いているんですが、そこでGlusterFSとRedisを使っています。キュー的な使い方とグローバル共有メモリ空間としてアグリゲーション的な
-
@doryokujin 小さいファイルの扱いがうまいと、ptail的なものを作るときに嬉しい…！
-
@doryokujin @frsyuki そんなうまい話があるんでしょうか…
-
@frsyuki @kzk_mover 小さいファイルの扱いとか、InputFormatとか、実は結構難しいところがあると思ってますー。僕は到着してビール飲んでますのでまた後でー！
-
GlusterFS、Lustreの勉強会ないかなー もう普通に採用されている目新しさないからかなー @thatsdone Glusters ってのもありますよ。:) RT @understeer: LustreサイトのフッタにOracleのロゴがあって萎えた #hbstudy -
GlusterFSのストライピングの実装は謎だけど、基本的には各ノードのファイルシステムに生でファイルを置く + 謎のメタデータ管理というイメージ。その謎のメタデータ管理がキモなのだけども。
-
メタデータは無いらしい。ハッシュベースの分散か。E"lastic Hash" がポイントらしいが…まぁ普通のハッシュでしょう。偏りそうだな。
-
TL上でGluster話が進んでいて非常に興味深い。こっそり傍観。 -
となると、稼働中にノードを足すとか復旧させる挙動が基本的に危ないハズで、そこがうまく動けば実装はシンプルなハズだな。あとは偏りを制御できれば普通に使えそう。
-
@kzk_mover @frsyuki うん。多分、マルチマスターな管理には、その辺りが、実運用での最大の差別化要因。あと、Gluster は、L2を、超えた通信を、可能にしたくて、マルチキャストではなく、IPを、全てのノードにもった形のピアに、してるっぽいかなぁ。 -
Content from Twitter
コメント