バックテストは有効か？

id:NoShigeさんのバックテスト日記に興味深いエントリがUPされていたのでTBしてみる。
市場カテゴリー毎のバックテスト(「一般的なシステムに対するカテゴリー分けの効果」：その3) - 株式・投資・バックテストの日々

　結論的には判断することは難しいということになりますが、しかし、突き詰めて考えると、疑問点は「システムは本当に機能しているのか」ということに行き着くものと考えています。

　かいつまんで言えば、システムが機能しているケースが、極めて限定的な状況であると考えられる場合は、そのシステムを株式市場全体に適用した場合、機能しない可能性が出てくるということです。少しわかりにくいですが、なんとなくでもわかっていただけないでしょうか・・・

「システムは本当に機能しているのか？」という疑問はバックテストをやっていると、まずぶつかる疑問だと思います。これを払拭できないのは、得られた最良のシステムであっても、それは過去に対する最適化の結果でしかなくて、将来においても機能するのかどうおかはわからない、という事がわかってしまったからだと思う。
それを払拭する手法として、２０年分のデータがあったら、２０年前から５年分のバックテストで良好だったシステムを、次の５年、１０年に対しても有効かを評価する。一気に２０年分やって期間を区切って評価した方が簡単かな。期間ごとのばらつきが少ないシステムなら、運用してもいいと思う。でも、安定した運用成績を残せる単一のシステムというのは、「聖杯」みたいなもんじゃないんだろうか？
私の考え方だけど複数のシステムの運用成績を組み合わせて、安定した結果になる組み合わせのものを探せばいいんじゃないかな。あるいは期間ごとにどんな局面が得意で、どんな局面が不得意なのかを把握して、市場の状況にあわせて使うシステムを入れ替えていくとか。その入れ替え・組み合わせもシステムの一部、というか、個別の仕掛け･利食いというトレードの判断のもうひとつ上のレベルの判断の機能がいるんだと思う。そこは人がやってもいいし、機械化してバックテストができればそれにこしたことはない。
きっと個々のトレードっていうのはどれを狙っていつ弾を発射するか、いつ身を物陰に潜めるかという、個人の「戦闘級」の仕組みで、そのもうひとつ上のものが、集めた兵隊をどう動かすかという「戦術級」の仕組みになる（今問われているのはココ）。そしてその兵隊に弾薬を補給する兵站と、戦場をどこに設定するかが「作戦級」の仕組みで、この辺が資金管理ということになるんじゃないかな。