백테스트 과최적화는 리서치 과정이 역사적 관측치에 지나치게 밀착해 선택을 조정함으로써, 해당 규칙이 선택된 표본에서 유난히 좋아 보이는 현상을 말합니다. 원인은 복잡한 모델에만 국한되지 않습니다. 단순한 교차 전략도 충분히 많은 자산, 기간, 손절 크기, 지표를 테스트한 뒤 가장 운 좋은 조합만 보고하면 과최적화될 수 있습니다.
내린 선택의 수를 세어 보세요
연구자가 지표 10개, 여러 임계값, 자산 4개, 타임프레임 2개, 여러 날짜 범위를 시도한다고 가정해 봅시다. 각 실행이 합리적인 규칙을 사용하더라도, 매력적인 역사적 결과를 찾을 기회의 수는 최종 스크린샷이 시사하는 것보다 훨씬 많습니다. 결과를 본 뒤에 내린 선택도 포함됩니다. 청산 규칙을 바꾸거나, 까다로운 시장을 빼거나, 전략에 유리하게 작용하는 지표를 고르는 것 모두 실험을 바꿉니다.
날짜별 실험 일지를 유지하세요. 테스트한 각 전략 버전, 파라미터 세트, 데이터셋, 지표, 방향을 바꾼 이유를 기록하고, 실망스러운 결과도 남기세요. 이전 실험이 새로운 가설을 선택하도록 이끌었다면 그 연관성을 명시하세요. 최종 구성이 깔끔해 보인다는 이유만으로 실패한 실행을 설명에서 지우지 마세요.
시간 순서를 사용하되 만능 해법으로 여기지 마세요
조정 전에 데이터를 시간 기준으로 나누세요. 이전 관측치는 규칙을 구현하고 비교하는 데 사용하고, 이후 구간은 제한된 평가를 위해 남겨 두세요. 시계열 봉을 훈련 그룹과 테스트 그룹으로 무작위로 섞지 마세요. 인접한 봉은 맥락을 공유하며, 무작위 분할은 이후 국면의 정보가 이전 선택에 영향을 미치게 할 수 있습니다. 홀드아웃 결과를 열기 전에 경계와 선택 방법을 적어 두세요.
홀드아웃은 보이지 않는 상태로 유지되는 동안에만 제한적인 보호를 제공합니다. 선택한 구성을 여기서 실행하고, 거래를 살펴보고, 임계값을 바꾸고, 다시 실행한다면 그 관측치들은 수정된 규칙에 영향을 준 것입니다. 해당 구간을 사용됨으로 표시하세요. 진정으로 이후의 표본이나 전향적 관측만이 새로운 질문에 답할 수 있지만, 어느 것도 미래 조건이 비교 가능할 것이라고 보장하지는 않습니다.
워크포워드 평가는 시간 순서에 따른 적합-평가 윈도를 반복하지만, 이 역시 과용될 수 있습니다. 많은 출력 경로를 본 뒤에 윈도 길이, 재훈련 일정, 최종 지표를 선택하면 또 다른 탐색이 생깁니다. 전체 절차를 기록하고 단순한 벤치마크와 비교하세요. 윈도의 수와 해당 방법이 실패한 국면을 보고하세요.
PBO 분할 하나를 직접 읽어 보세요
Bailey, Borwein, López de Prado, Zhu의 Probability of Backtest Overfitting study는 조합 대칭 교차 검증(CSCV)을 소개합니다. 후보 수익률 기록을 짝수 개의 블록으로 나누고, 절반을 반복적으로 사용해 최상위 후보를 선택한 다음, 그 선택을 나머지 절반에서 순위 매기는 방식입니다. 다음은 동일 길이의 블록 4개와 평균 수익률을 고정 점수로 사용한, 의도적으로 아주 작은 교육용 예시입니다. 아래의 모든 값은 가상이며 블록당 퍼센트로 표시했습니다. 어떤 것도 거래소 데이터가 아닙니다.
| 후보 | 블록 1–2: 선택 평균 | 블록 3–4: 평가 평균 | 평가 순위 (최하위에서 최상위) |
|---|---|---|---|
| A | 7.0% | −4.0% | 4개 중 1위 |
| B | 2.1% | 2.1% | 4개 중 4위 |
| C | 1.0% | 1.0% | 4개 중 3위 |
| D | 1.5% | 0.5% | 4개 중 2위 |
후보 A는 전반부에서 이기지만 나머지 절반에서는 최하위로 마칩니다. N = 4개 후보일 때 상대적 표본외 순위는 ω = 1/(N + 1) = 0.20입니다. 로짓은 λ = ln(ω/(1 − ω)) = ln(0.20/0.80) ≈ −1.386이며, 이 분할에서 선택된 승자가 후보 중앙값보다 낮은 순위이기 때문에 0보다 작습니다. 이는 예시적인 분할 하나일 뿐입니다. PBO 추정치는 λ < 0인 모든 규정된 CSCV 분할의 비율입니다. 이 계산은 산술을 눈에 보이게 유지하기 위해 평균 수익률만 사용합니다. 실제 연구는 성능 지표를 고정하고 결합된 모든 블록 세트에 일관되게 적용해야 합니다.
PBO는 상대적 선택 진단이지, 실제 크립토 전략이 돈을 잃을 확률이 아닙니다. 대칭 블록 조합은 표본내와 표본외 부분을 재조합할 때 후보 순위가 어떻게 바뀌는지 살펴보는 데 도움이 되지만, 하나의 시간 순서 배포 경로를 재현하지는 않습니다. 그 별도의 질문을 위해서는 이후의 손대지 않은 시간 순서 테스트나 전향적 모의 기록을 유지하고, 홀드아웃이 결정에 영향을 주었다면 소진된 것으로 표시하세요.
Deflated Sharpe Ratio study는 샤프 비율을 해석할 때 선택 편향과 비정규 수익률을 다룹니다. 이는 별개의 조정입니다. 선행 편향, 누락된 체결, 잘못된 데이터셋을 고치지는 않습니다. 그 결론은 수익률 표본과, 시행 횟수 및 의존성에 대한 가정에 따라 달라지므로, 리서치 이력을 빠뜨린 채 승리한 구성만 넣지 마세요.
전체 분포와 메커니즘을 살펴보세요
단일 최고 수익률 이상을 보여주세요. 거래 횟수, 낙폭 경로, 연속 손실 구간, 노출, 시장 체류 시간, 비용, 테스트한 설정 전반의 변동성을 포함하세요. 몇 건의 비정상적으로 큰 거래가 결과의 대부분을 차지하는지 확인하세요. 약간씩 다른 거래 비용 가정을 테스트하세요. 작은 파라미터 조정이나 더 현실적인 높은 비용에서 결과가 사라진다면 그 민감도를 명확히 설명하세요. 유용한 보고서는 전체 후보 세트, 선택 점수와 동점 규칙, 블록 설계, 분할 결과 수, 비용 모델, 그리고 중앙값뿐 아니라 최악의 평가 순위를 나열합니다. 독자는 승자가 대안보다 단지 덜 나빴을 뿐인 경우가 얼마나 잦은지 볼 수 있어야 하며, 조정된 단일 통계만으로 확신을 추론하게 해서는 안 됩니다.
인과적 타이밍과 데이터 출처를 별도로 확인하세요. 전략이 결정 시점에 이용할 수 없었던 정보를 사용했거나, 타임스탬프, 계약 롤, 누락된 구간이 잘못 처리되어 탁월해 보일 수 있습니다. 이런 구현 오류를 고치는 것이 선택 편향을 없애지는 않습니다. 데이터와 리서치 선택 모두를 점검해야 합니다.
도구의 출력이 무엇을 나타내는지 명시하세요
SuperQuant는 결정론적 원장과 시간 순서 진단 워크플로를 제공하지만, 포함된 이력은 합성 데이터입니다. 이 애플리케이션은 구성된 규칙이 그 환경에서 어떻게 작동하는지 드러낼 수 있지만, 관측된 거래소 이력에 대한 수익률을 확립하거나 실제 체결을 인증할 수는 없습니다. 소프트웨어가 올바르더라도 동일한 합성 데이터셋을 여러 구성으로 재실행하면 여전히 선택 문제가 생깁니다.
백테스트 워크플로를 사용하고, 가설 워크시트에서 선택 과정을 미리 선언하고, 선행 편향과 이동평균 파라미터 탐색에 대해 읽어 보세요. 모든 결과 옆에 버전 이력과 실패 조건을 유지하세요. 이는 리서치 안내이며, 투자 조언이나 어떤 기법이 불확실성을 제거한다는 주장이 아닙니다.