10/26 27 hadoop summit あるよ!ホートンワークス今井さん #futureofdata #IDCF pic.twitter.com/0XTfMgQIKT
2016-07-27 20:07:12ドキュメントはしっかりしている印象。 nifi.apache.org/docs.html #futureofdata
2016-07-27 20:09:35@masaru_dobashi 事例ですので私の個人的な考えになりますが、リソースの分離もありますが、収集部を分散可能とするため、プロセスをわけているのだと考えています。 #futureofdata
2016-07-27 20:11:12ふむふむ。分かりやすい理由と思います。あとは、もしかしたら使用するリソースも種類が違うっていうのもあるかもしれませんね。CPUインテンシブか、IO(IOバッファリング)インテンシブか、など。 #futureofdata twitter.com/kimutansk/stat…
2016-07-27 20:14:52プロダクトの選択はさておき、ここで紹介されているアーキテクチャ構成は本当によく見るものだなぁ、と。(私も同じような構成で組むこともありますね) #futureofdata
2016-07-27 20:23:34データソースの種類が多様、データソースを動的に足したいこともある場合のデータパイプラインにはNifi が良い #futureofdata
2016-07-27 20:29:50データパイプラインを組む時に、フローを中心に考えるか、メッセージングシステムを中心に考えるかで方式が少し変わってきそう。(あとで、どっかでちゃんと説明したい) #futureofdata
2016-07-27 20:30:14そのデータフロー NiFiで楽にしてあげましょう #nifi #futureofdata slideshare.net/KojiKawamura/n… via @SlideShare
2016-07-27 20:56:34NiFiを発端としたマネージメントを意識したデータフローの話はけっこう刺激になりました。色々と議論できました。#futureofdata
2016-07-27 21:47:39Apache NiFi 勉強会 〜データフローの自動化〜 終了 参加された方、会場提供いただいたIDCフロンティアさん、ありがとうございました!登壇者の皆様、お疲れ様でした!#futureofdata pic.twitter.com/eAzdyLJrTo
2016-07-27 23:20:03本日の発表資料です。尚、StSClientのクラスタリングについては移行時の一時的な状況とのことです。>Apache NiFiと他プロダクトのつなぎ方 slideshare.net/SotaroKimura/a… twitter.com/Ijokarumawak/s… #futureofdata
2016-07-27 23:21:42Site to Siteの分散、対応してますのでご安心を!クラスタリングの機構が1.0から変わるため、masterブランチが過渡期だったと思われます #futureofdata
2016-07-27 19:57:39NiFiのマスタブランチのとあるpomを見ると、Kafkaのバージョンは0.8.2.2っぽいけど8系対応なのかな。認識あっているのだろうか。 #futureofdata
2016-07-27 23:22:36というか、そういうバージョン関係の情報はドキュメントのどの辺に載っているのだろう。 #futureofdata twitter.com/masaru_dobashi…
2016-07-27 23:29:40あ!ありました。0.9.0.1ってなっていますね。ありがとうございますー。FAQっぽい話ですね(^^;;; #futureofdata twitter.com/Ijokarumawak/s…
2016-07-27 23:42:25@masaru_dobashi 8系と9系のmoduleが2つあって、nifi-kafka-pubsub-processorsのConsumeKafka, PublishKafkaは0.9系です
2016-07-27 23:35:07AbstractKafkaProcessorあたりを読むと、処理後に明示的にコミット呼ぶようにしているように見えますね。(kafka9系対応版API) #futureofdata twitter.com/masaru_dobashi…
2016-07-28 00:03:16なるほど…。役割分担的にはできるだけデータ保持させないほうがよさそうな印象。だとすると、外部データストア、メッセージングシステムからデータを読み込む場合のインデックス管理などの機構が気になりますね。 #futureofdata
2016-07-27 19:56:52The latest デイリー つぶやき新聞! paper.li/SalviatiAisle?… Thanks to @u_sib #choicecontent #futureofdata
2016-07-28 06:14:44The latest デイリー chimcity! paper.li/chimcity?editi… Thanks to @aoki3kara @wats4936 #jazug #futureofdata
2016-07-28 08:05:027/29 大阪で開催。データ活用最前線 〜 蓄積、分析、可視化 〜 connpass.com/event/35431/ #futureofdata #hortonworks
2016-07-28 08:07:28昨日のApache NiFi勉強会で話したIoTアプリケーションの資料です。Demoアプリケーション、また後日パブリックに動かして誰でもアクセスできるようにしたいと思いますが、ひとまずスライドだけ。 slideshare.net/imaifactory/io… #futureofdata
2016-07-28 17:48:08