2010年10月13日水曜日

統計の力

前回の投稿でスプリットを変えて計算結果の確認をしましたが本当は統計の力を借りないといけないのかもしれないと思いいろいろ調べてみました。2つの結果の比較に利用できそうだと思ったものはT検定(分散が同じ)、T検定(分散が異なる)、U検定(マンホイットニーのU検定と言うらしい)等です。調べによるとそれぞれ前提条件が違います。
T検定(分散が同じ):サンプルが正規分布であること
T検定(分散が異なる):サンプルが正規分布であること
マンホイットニーにU検定:2つのサンプルの分布の形が同じであること

ランダムトレードの結果で平均利益のヒストグラムは以下のようにだいぶ尖がっていて正規分布じゃないんじゃないかとの結論に達しました。なのでU検定?かなと思っていたのですが、いろいろWebを見ているとT検定でもいいんじゃないかというようなことが書いてあったりまぁよくわからないのでとりあえず上記全部を計算させてみることにしました。

結果は以下の通りでした。(平均利益の比較)

T検定(分散が同じ)のP値=0.0000
T検定(分散が異なる)のP値=0.0000
マンホイットニーにU検定のP値=0.0001

P値が0.05(5%)もしくはより厳しく判断するのであれば0.01(1%)以下であれば結果に統計的に意味のある違いがみられるということらしいです。今回は明らかに違い過ぎてものすごく小さいということだと思います。が、本当に計算がうまくいっているのだろうか?と少し疑問に思い、もう少しサンプル数の少ないパターンでの比較をやってみようと思いました。上記の結果はサンプル数がそれぞれ2000前後のサンプルA(スプリット0.0%)とサンプルB(スプリット0.025%)の比較だったので今度はサンプル数を200程度に落として再度計算をさせてみました。その結果は

T検定(分散が同じ)のP値=0.051937
T検定(分散が異なる)のP値=0.051937
マンホイットニーにU検定のP値=0.015005


でした。上手くいっているような感じです。しかし分散が異なる場合と同じ場合でなぜか答えが同じでした。(分散が同じということだろうか?)

続きはこちら

0 件のコメント: