まとめ
メニューを開く-
XFS on x86_64 http://ff.im/-jlaLe -
@kosaki55tea サーバ系だと、ディスクにデータを保存するたぐいのプログラムはfsyncしまくるし、オンメモリのやつは swap に落ちるだけなので、例外パスで xfs が呼ばれることは、ほとんどないんじゃないかなーと -
@kazuho でもhumyo.comはスタックオーバーフローで落ちまくってると報告されているからWeb系のサーバ運用だとダメってことよ？
-
.@kazuho @kosaki55tea ML見るとbuffered writeしているようですが、ダイレクトI/Oで回避できないでしょうかね。 -
Web サービス界隈だと、そもそも ext3 がほとんどだったのが、MySQL のユーザーが一部 xfs 化しはじめた、みたいな印象 (観測範囲狭いですが)
-
無理。トリガーはwrite syscallではなくキャッシュ回収処理の延長なので1ページでもキャッシュが載っていれば呼ばれる可能性ある RT @matsunobu @kazuho buffered writeしているようですがダイレクトI/Oで回避できない
-
どうしてext4は避けられているのでしょう？ RT @kazuho Web サービス界隈だと、そもそも ext3 がほとんどだったのが、MySQL のユーザーが一部 xfs 化しはじめた、みたいな印象 (観測範囲狭いですが)
-
DirectIOだと別のプロセスがキャッシュを乗せてしまうのを防げないので @matsunobu @kazuho
-
キャッシュに載ってるページが dirty でなければ、xfs は呼ばれないから問題ないんじゃないのかしら
-
ext3 は枯れてて安心だし、ext4 で速くなるよ！って話が広まらない限り、みんな ext3 使い続ける、みたいなw
-
それは正しいけどdirtyなページが無いことを保証するのは実際には無理。syslogとか色々デーモンいますし RT @kazuho: キャッシュに載ってるページが dirty でなければ、xfs は呼ばれないから問題ないんじゃないのかしら
-
むしろ遅いですけどねext4。まあいくつかの遅いオプションがデフォルトになっているのが主因なので設計ミスではないが RT @kazuho: ext3 は枯れてて安心だし、ext4 で速くなるよ！って話が広まらない限り、みんな ext3 使い続ける、みたいなw
-
XFSのdelayed allocationのほうが遙かにヒドイ壊れ方をするはずだが RT @smbd: @kosaki55tea なんとなく不安定そうなイメージがあるから？あとアプリが悪いのだけど、commit間隔の件が大々的に報じられてイメージが悪いとか？
-
同意です。たとえ運用でごまかせたとしても、そういう問題のある fs は避けたいですねorz RT @kosaki55tea: それは正しいけどdirtyなページが無いことを保証するのは実際には無理。syslogとか色々デーモンいますし RT @kazuho: キャッシュに載...
-
RHELを語るならXFSも土俵は同じではないかな RT @smbd: @kosaki55tea 不安定そう、っていうのは開発が開始してあまり日が経ってないからとか、ext4を採用したRHELが出ていなくて(RHEL6はdefault ext4みたいですけど)揉まれてなさそうとか
-
MySQL 屋さんの場合だと、xfs が壊れてもレプリケーションがあるさ、で片付くのかも。たいていの大規模運用の場合は。
-
@kosaki55tea MySQL(InnoDB)では「mysqldプロセス以外は誰も読み書きしない巨大データファイルをダイレクトI/O(バックアップとかは例外)」というのが典型的な使われ方なんですが、これなら回避できるんじゃないでしょうか。
-
ファイルシステムがMySQL専用なら大丈夫な気がします RT @matsunobu: @kosaki55tea MySQL(InnoDB)では「mysqldプロセス以外は誰も読み書きしない巨大データファイルをダイレクトI/O(バックアップとかは例外)」というのが典型的な使われ方な
-
一日に５回も６回も落ちるとか言われているので相当厳しいと思うが RT @kazuho: MySQL 屋さんの場合だと、xfs が壊れてもレプリケーションがあるさ、で片付くのかも。たいていの大規模運用の場合は。
-
write >> read で fsync してないファイルサーバとかならともかく、O_DIRECT 前提な MySQL サーバが、そんな高確率で落ちてるんですか？ RT @kosaki55tea: 一日に５回も６回も落ちるとか言われているので相当厳しいと思うが...
-
@kosaki55tea ありがとうございます。自分が知る限り、「MySQLデータ領域用に独立したxfsファイルシステム + InnoDB + ダイレクトI/O」が(xfsを使う場合の)定番で、Facebookもこの構成だと聞いています。
-
@kazuho あ、ごめんなさい。元々の話はMySQLじゃないです。MogileFSとかいうKVS
-
MySQL(InnoDB) でページアウトが発生する場合、その対象になる可能性が一番高いのは InnoDB のバッファプールだし、バッファプールのページアウトが発生しないようにチューニングするのが基本になってると思います
-
@matsunobu なるほど。勉強になります。humyo.comの構成がヘンという理解をしました
-
@kazuho いやー、最近のlinuxはlumpy reclaimがあるのでチューニングではpageout 0には出来ませんよ。限りなく少なくは出来るけど
-
Content from Twitter
コメント