MapReduceとコンパイラ、App Engine - Togetter
Twitterのつぶやきマッシュアップメディア!MapReduceとコンパイラ、App Engine
MapReduceとコンパイラ、App Engine
by kazunori_279
まとめ
メニューを開く-
Hadoopの計算モデルを使ったシステムの世界観がまだ自分の中でぼやけている印象だ -
I/Oというか通信ネックになりそうなのは間違いなくて、既存の命令型の延長で組んだプログラムを何とか最適化して…と言う方向はたぶん厳しい
-
共起系の解析をどうやるかがいまいち思いついてない感じ
-
時間でスライスしたのをカスケードさせて何重も計算…と言うかFFTみたいな計算モデルになるのかね
-
何とはなしにいったけど、タイムライン的な時間軸に対してフーリエ変換とかウェーブレット変換的なものを考えると面白いかもしれんね
-
@ashigeru 計算モデルというか、数値計算手法に制約がついちゃうイメージですかね？個人的には、mapをなにかの計算に見立てるとすると、粒度の問題は大きくなりそうな印象です。でも、なにで計算するかって重要ですか？ -
@marblejenka もっとも単純な話では、ある数列を別の数列に変換する時に、値を別個に変換できるのかできないのかってところですかね。常にanの解析にan-1が必要だとちょっとどうやるのかが思いついてないというのか。
-
@ashigeru ああ、そういうことですか。mapの粒度をまたがる計算は制限されそうですね。金融商品だと、早期償還条件付き商品とかはキャッシュフローの粒度で評価できないので、hadoop使うとすると悩みどころになるなーという感じです。
-
@marblejenka software pipeliningとかそっち系の最適化を使うと行けるのかなーとも思いつつ、あんまり特徴に合ってないからいろいろと事例研究に移ろうかなとも思い始めてます
-
てか、ベクトルマシンのプロセッサに関する最適化コンパイラを習っていたのが意外にもこんなところで役に立つ(?)とはよく分からないもんだ
-
ソフトウェアパイプラインとかエサがまかれてるが、釣られないぞ -
@ashigeru おー、事例があるのか？というところはありますが。。hadoopのサンプルで円周率をモンテカルロで計算してるのはありましたが、事前にパスの分だけlineを生成してて、こりゃだめだ、というのはありました。きっともっと賢いやりかたもできるのでしょうけど。。。
-
@kazunori_279 それは釣られてると言わざるを得ない件
-
@marblejenka モンテカルロは集約に結合法則がある計算を使うので向いてると思います。問題はそうじゃない計算
-
@marblejenka ループを展開してMRにあてはめられんのかいなとか一瞬考えちゃった。。つ、釣られてなんかいないからね!
-
@ashigeru いや、僕がためした範囲では、モンテカルロの1パスをmapにするのは用途が思いつかない程度には遅かったです。なので、計算を分解するよりも1mapに相当するそれなりに大きい計算をやるのが妥当なのかなと思ってます。これも用途によっちゃうんでしょうけど。
-
@marblejenka なる。象本的には1Mapで1分くらいがいいんじゃねとのこと。もちろん状況次第と思いますが
-
@kazunori_279 そんな感じなんじゃないですかね。むしろ、@ashigeru氏が考えてそうな複雑なことって出来るのかなー、という感じです。map side joinとかreduce side joinとか？
-
@ashigeru それも大きめですねー。サンプルのword countとか、軽い計算では生きてこないということか。。
-
@marblejenka まぁ、それはutilizationを上げるための指標なので文脈によって変わるものではあると思います。とりあえずCPUネックにするのは非常に難しいw
-
Mapはこちらは1.5min～3minでやってまっせ～～ -
おそらく、力技で複雑な計算するんじゃなくて、多次元トーラスに近い形でオリジナルのデータを分散レプリケーションさせて、ローカリティを多段階にする必要はあると思う
-
通常の業務処理をバラしていろんなパターンでやってますが、reduceがボトルネックになるので～。というかMapが簡単にスケールするので、できるだけMapにガシガシ処理させて、CPUネックになるようにやってます～。
-
@okachimachiorz reduceは1段な感じでやってらっしゃるんですかね
-
@ashigeru なるほど。でも単にmapを1モンテカルロにするとかだったら、そんぐらいにはなりそうですね。そんなに時間がかかると逆にだめっぽいというのはありますが。。
-
Content from Twitter
みんなのおすすめ商品
商品を編集
まとめを作成する
プロフィール
まだ自己紹介が設定されていません。
マイタグ:
設定されていません。
トゥギャッター通信
コメント