バージンデータを使ったテストはなぜ必要なのだろう？

今読んでる本には、過去のある期間を使ってパラメータをチューニングしたら、チューニングしたパラメータの有効性をまだテストで使っていない期間（もしくはマーケット）でテストして、パラメータがカーブフィットしたものでないか確認するべきだとしている。

十分なCPU資源があるなら、すべての時系列・マーケットのテストを実行して、期間毎マーケット毎のサマリーを出力したうえで、そのサマリーの平均と標準偏差をとれば、それで十分なんじゃないだろうか？　わざわざ残しておいて、やってみてうーんとか唸るのは儀式以上のものを感じない。保有している全期間のデータを使ってシミュレーションを実行して、２年ぐらいで区切った単位で平均と標準偏差とって並べてみたら、すべての期間で有効な仕掛なのか、まるっきりダメなままなのか、波があるものなのか一発でわかるじゃないか。
このサマリーを作っておけばポートフォリオを作成する時にも使えるし（つか、これをやりたい）。よし、こんなレポートだすように、今のレポートのプログラムを直す事を目標にしよう。短期の仕掛と長期の仕掛だと同じ期間（たとえば２年）で評価すると、長期の方は統計的に有意なだけのサンプルがないかもしれないから、評価期間は任意に決められるようにする必要がある。