きょうはこちら -> Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata
2016-07-27 19:04:59#futureofdata 河村氏ってCouchの人だと思っていたら、Apache NiFiの人になっていた。
2016-07-27 19:10:16ApachNifi勉強会始まりました!NiFiコミッター河村さん #futureofdata pic.twitter.com/RQZY91nPO9
2016-07-27 19:10:57これ開催中なのか。 / “Apache NiFi 勉強会 〜データフローの自動化〜 - connpass” htn.to/yYNtGnS6S
2016-07-27 19:13:22コア部分はJavaで作られているっぽいかなぁ…。とりあえずcloneするか。 #futureofdata
2016-07-27 19:25:46はじまりました > Apache NiFi 勉強会 〜データフローの自動化〜 connpass.com/event/35428/ #futureofdata
2016-07-27 19:30:39はじめてだけど...nifiで集めて加工。Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata
2016-07-27 19:31:52Attributeをリッチにしていくイメージかぁ。こういうプロダクトで、どこまで加工処理を受け持つか、はバランス感覚が必要そうだなぁ。 #futureofdata
2016-07-27 19:33:34この辺が、データマネジメントっぽい考え方の入ったデータフローツールだなぁ、と感じますよね。 #futureofdata twitter.com/kimutansk/stat…
2016-07-27 19:34:32実行時の注意点は有り難い内容ですね。細かく見れる分、溢れる、は結構やらかしますので。 #futureofdata
2016-07-27 19:36:41確かに想定しないデータがやってくるのは常なので、そいつをハンドリングする仕組みとうまく連結させるようにする、っていうのは大切かも。 #futureofdata
2016-07-27 19:37:01ノンストップで支流させられるっていうのはありがたい。(実際にやろうとすると色々と気がかりではありますが…) #futureofdata
2016-07-27 19:39:27メッセージがキューイングされてるので部分的に止めて更新して試せるのは試行中にはやはり便利。 #futureofdata
2016-07-27 19:39:48DataProvenance、エラー発生時の履歴追うのにやたらと便利ですが、 その分リソースが必要なのは。。。そればっかりは仕方ない話。 #futureofdata
2016-07-27 19:43:15DAG型のストリーム処理エンジンとの違いっていうのは、「管理」っていう考え方が色濃く反映された機能、仕様に仕上がっている点なのかなぁ。(考察中) #futureofdata
2016-07-27 19:43:47なるほど…。役割分担的にはできるだけデータ保持させないほうがよさそうな印象。だとすると、外部データストア、メッセージングシステムからデータを読み込む場合のインデックス管理などの機構が気になりますね。 #futureofdata
2016-07-27 19:56:52Site to Siteの分散、対応してますのでご安心を!クラスタリングの機構が1.0から変わるため、masterブランチが過渡期だったと思われます #futureofdata
2016-07-27 19:57:39コアとエッジを分けたのはワークロードによって、リソースを分離するため?聞き逃してしまいました…。 #futureofdata
2016-07-27 20:03:25最後のセッションは今井さんからApachNiFiのIOTアプリケーション利用例のご紹介です。#futureofdata pic.twitter.com/g6ARO67kkz
2016-07-27 20:06:17