統計の力

前回の投稿でスプリットを変えて計算結果の確認をしましたが本当は統計の力を借りないといけないのかもしれないと思いいろいろ調べてみました。２つの結果の比較に利用できそうだと思ったものはＴ検定（分散が同じ）、Ｔ検定（分散が異なる）、Ｕ検定（マンホイットニーのＵ検定と言うらしい）等です。調べによるとそれぞれ前提条件が違います。
Ｔ検定（分散が同じ）：サンプルが正規分布であること
Ｔ検定（分散が異なる）：サンプルが正規分布であること
マンホイットニーにＵ検定：２つのサンプルの分布の形が同じであること

ランダムトレードの結果で平均利益のヒストグラムは以下のようにだいぶ尖がっていて正規分布じゃないんじゃないかとの結論に達しました。なのでＵ検定？かなと思っていたのですが、いろいろＷｅｂを見ているとＴ検定でもいいんじゃないかというようなことが書いてあったりまぁよくわからないのでとりあえず上記全部を計算させてみることにしました。

結果は以下の通りでした。（平均利益の比較）

Ｔ検定（分散が同じ）のＰ値＝0.0000

Ｔ検定（分散が異なる）のＰ値＝0.0000

マンホイットニーにＵ検定のＰ値＝0.0001

Ｐ値が0.05(5%)もしくはより厳しく判断するのであれば0.01(1%)以下であれば結果に統計的に意味のある違いがみられるということらしいです。今回は明らかに違い過ぎてものすごく小さいということだと思います。が、本当に計算がうまくいっているのだろうか？と少し疑問に思い、もう少しサンプル数の少ないパターンでの比較をやってみようと思いました。上記の結果はサンプル数がそれぞれ２０００前後のサンプルＡ（スプリット0.0%）とサンプルＢ（スプリット0.025%）の比較だったので今度はサンプル数を２００程度に落として再度計算をさせてみました。その結果は

Ｔ検定（分散が同じ）のＰ値＝0.051937

Ｔ検定（分散が異なる）のＰ値＝0.051937

マンホイットニーにＵ検定のＰ値＝0.015005

でした。上手くいっているような感じです。しかし分散が異なる場合と同じ場合でなぜか答えが同じでした。（分散が同じということだろうか？）

続きはこちら