mixiがはまったmemcached(or libevent?)の問題を調べる人たち - Togetter
Twitterのつぶやきマッシュアップメディア!
まとめ
メニューを開く-
memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 -
ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60として500台以上必要。そんなに増えたん？ -
memcachedが落ちると言えばstatsのバッファが足りなくて、セグフォルなんていうことも昔あったね
-
memcachedの地雷、キー名の長さに制限がある、特定サイズのデータばかり入れてると他のサイズのデータほとんど入らなくなる、揮発性があることを考慮しないエンジニア… -
@kzk_mover memcached-1.4.4 + libevent-1.3b、memcachedの接続数30kの設定に対して30k以上投げ続けると、base_event_loopからなぜか抜けてしまいます
-
ひとまずビルドした. RT @nealsato: @kzk_mover memcached-1.4.4 + libevent-1.3b、memcachedの接続数30kの設定に対して30k以上投げ続けると、base_event_loopからなぜか抜けてしまいます -
memcached -c N はsetrlimitでファイルディスクリプタ制限かけてるだけなので、libeventのどこかでsocket作れなくなってエラー => ループ抜けるとかいうシナリオ? まだmemcachedしか見てない.
-
mixiはまだfedoraを使ってるのならカーネルパラメータの何かがおかしい可能性はありますね。fedoraはCentOS(というかRedhat)とデフォルトのカーネルパラメータが違いすぎてひどい目にあったことがあります。 -
コネクション3万問題 or コミケ3万ぐらい持ってた方がいい問題
-
setrlimitを36とかで固定呼び出しするようにしてmemcachedを立ち上げた。memslapでそれ以上の並列数で負荷をかけると、挙動が非常に怪しい... 2並列以上で投げると固まっている様に見える.
-
コミケ3万の規模感はよくわからないですが、コネクション3万は一台ではかなり多いですよ
-
でもデーモンが終了している訳では無いから、 event_base_loop は抜けてないな.
-
@kzk_mover そうなんです固まります。そういう時はクライアント側を一度落としてたたき直しです。
-
固まった時も、全スレッドはepoll_wait状態だから正しそう... libevent <-> memcachedの行き来がしんどいなコレ.
-
accept(2) => EMFILEで呼ばれる、accept_new_conns(false) が怪しいと思って追っている所。コメントアウトしたら挙動が変わるんだよなあ. 固まらなくはなる.
-
memcachedのC30Kともかくとして、なぜそんなにサーバを足さないとならないのかが気になる。効率の悪いプログラム、SQL、複雑な仕様、それらに対して意見をする場の少なさ、あきらめ。そんなんじゃないですか？
-
ひとまず打てる短期的対策は (1) setrlimit出来るディスクリプタ数を上げる + -c の数を増やす (2) kumo-gwみたいにローカル単位でコネクション集約する. かなあ. ただ悔しいのでプログラム追う.
-
Content from Twitter
コメント