워크포워드 테스트는 날짜가 지정된 일련의 실험입니다. 해당 시점에 이용 가능한 정보로 규칙을 적합하거나 지정하고, 다음 미관측 구간에서 평가한 뒤 경계를 앞으로 이동합니다. 하나의 최종 홀드아웃과 달리 여러 차례의 시간순 평가를 산출합니다. 규칙은 전체 기간 동안 고정될 수도 있고, 서면 일정에 따라 갱신될 수도 있습니다. 이 둘은 서로 다른 질문에 답하므로 어느 쪽을 실행했는지 밝히세요.
질문과 구간 일정을 먼저 정하세요
종목, 데이터 출처, 타임프레임, 비용, 벤치마크, 평가 지표를 명시하세요. 결과를 살펴보기 전에 시작일, 적합 구간 길이, 테스트 구간 길이, 구간이 이동하는 방식을 정하세요. 전략을 일정에 따라 재추정한다면 그 일정을 미리 정하세요. 각 선택이 질문과 어떻게 관련되는지 기록하세요. 구간 크기 자체도 과최적화 대상이 될 수 있는 파라미터입니다.
예를 들어 한 실험은 이전 2년의 관측치로 규칙을 지정하고, 다음 분기를 평가한 뒤, 1분기를 이동해 반복할 수 있습니다. 이 기간은 예시일 뿐입니다. 완료된 각 평가가 이후 적합에 이용 가능한 정보에 포함되는지, 훈련 구간이 확장되는지 아니면 이동하는지, 파라미터가 정확히 어떻게 바뀔 수 있는지 정하세요. 짧은 훈련 구간은 유용한 조건을 누락할 수 있고, 긴 구간은 서로 다른 조건을 뒤섞을 수 있습니다. 보편적으로 최적인 일정은 없습니다.
각 구간 사이의 분리를 유지하세요
각 단계에서 설계에 사용할 수 있는 봉과 이후 평가를 위해 남겨 둔 봉이 각각 무엇인지 기록하세요. 모든 롤링 지표가 향후 테스트 봉의 영향을 받지 않고 워밍업에 충분한 이전 데이터를 확보하도록 하세요. 보유 중인 거래, 펀딩 정산, 중첩 라벨이 경계를 넘어 유출되면서 선언된 질문을 바꾸지 않도록 하세요. 구간을 가로질러 유지되는 포지션이 있는 전략이라면, 이를 이월하는지, 경계에서 청산하는지, 아니면 한 계산에서 제외하는지 명시하세요.
평가 구간이 끝나면 무엇이든 수정하기 전에 결과를 기록하세요. 결과 때문에 새 임계값, 엑시트 규칙, 구간 일정이 도출된다면 새 버전은 이후 구간에서 테스트할 수 있지만, 이미 본 평가는 이제 연구 과정의 일부입니다. 반복적으로 검토한 구간의 이름을 계속 바꾸면서 “표본 외”라고 부르지 마세요.
갭을 결과 지평에 맞추세요
지도 학습 모델에서 한 행의 타깃은 그 신호 이후에 도착하는 가격에 의존할 수 있습니다. 타깃이 두 봉 앞을 내다본다면, 테스트 경계 옆의 마지막 훈련 라벨이 그 테스트 내부의 가격을 사용할 수 있습니다. 적합 전에 중첩되는 라벨을 제외하세요. 시간순으로 정렬된 타임스탬프 열만으로는 이러한 유출을 막지 못합니다.
현재 scikit-learn 1.9.1 TimeSeriesSplit 문서는 기본적으로 훈련 세트를 확장하는 방식, 그 크기를 제한하는 max_train_size 옵션, 훈련과 테스트 사이의 샘플 단위 gap을 설명합니다. 또한 동일 길이 테스트 폴드를 비교할 때 등간격 샘플을 요구합니다. 3개의 2-샘플 테스트 구간과 gap=2를 사용한 문서의 12-샘플 예시에서, 첫 번째 분할은 샘플 1–4로 훈련하고 5–6은 제외하며 7–8을 테스트합니다. 이후 훈련 폴드는 동일한 2-샘플 갭 앞에서 확장됩니다. 이는 일반적인 머신러닝 분할기의 인덱스 예시이며, 크립토 전략 결과가 아닙니다. 갭은 실제로 사용하는 타깃 지평과 보유 지평에 맞춰 정하세요. 봉이 누락되거나 관측치가 이벤트 기반일 때 행 개수 기준 갭은 경과 시간과 일치하지 않을 수 있습니다. scikit-learn은 이러한 분할 옵션을 문서화합니다.
gap 옵션은 샘플 인덱스만 분리합니다. 보유 중인 거래가 경계를 넘는 방식을 정하지도, 거래소 주문을 재현하지도, 거래소별 펀딩을 반영하지도, 피처 파이프라인이 유출 없이 작동함을 증명하지도 않습니다. 타깃의 시작·종료 타임스탬프, 지표 워밍업, 거래 중첩, 경계 처리 방식을 실험 기록에 남기세요.
전체 순서를 보고하세요
부진한 결과와 마이너스 결과를 포함한 모든 평가 구간을 파라미터, 거래 횟수, 비용, 노출, 낙폭과 함께 제시하세요. 동일 기간을 안정적인 벤치마크와 비교하고, 국면 간 차이를 하나의 평균에 숨기지 말고 그대로 유지하세요. 구간 사이에 규칙이 갱신된다면 사전에 선언한 갱신 절차와 파라미터 경로를 보고하세요. 검토에 따른 수동 변경은 적응형 알고리즘이 아니라 새로운 규칙 버전입니다.
이전 테스트 봉은 명시된 재적합 일정에 따라 이용 가능해진 뒤에만 이후 훈련 데이터에 포함될 수 있습니다. 하나의 전체 결과를 제시하기 전에, 인접 구간이 하나의 연속 계좌 경로를 이루는지 아니면 각 구간이 자본을 리셋하는지 밝히세요. 구간별 수익률의 산술 평균은 자동으로 포트폴리오 수익률이 아닙니다. 모든 수동 변경과 검토한 모든 구간, 지표, 파라미터 세트를 기록하세요. 변경된 규칙에는 그 변경에 사용되지 않은 이후 근거가 필요합니다.
워크포워드 성과는 데이터 품질, 체결 가정, 비용, 연구자의 이전 선택에 계속 의존합니다. 파라미터 안정성은 유용한 정보지만 미래의 안정성을 증명하지는 않습니다. 독립적인 에피소드가 몇 개뿐이라면, 수십 개의 인접 봉이 갑자기 넓은 표본을 만들어 주지는 않습니다. 일정과 지표를 반복 적용하는 것 역시 선택 편향이 생길 여지를 만듭니다. 이러한 별도의 위험은 백테스트 과최적화 가이드에서 설명합니다.
제품 한계와 다음 단계
SuperQuant는 고정 규칙 워크포워드 진단을 제공합니다. 평가는 전체 이력의 전반부가 지난 뒤 시작하며, 파라미터를 재최적화하지 않고 네 개의 시간순 테스트 구간을 보고합니다. 이전 캔들로 각 구간의 지표 워밍업이 이루어집니다. 이는 하나의 고정된 규칙이 이후 구간에서 어떻게 작동했는지 점검하는 것이며, 적합 후 재훈련 최적화가 아닙니다. 별도의 “마지막 30%” 재생은 단일 분할이며, 연구자가 이미 그 구간을 검토했다면 미접촉 상태가 아닙니다.
Disproof Desk에서는 이제 각 구간의 UTC 테스트 구간, 지표 컨텍스트 및 테스트 데이터 지문, 모델링된 수익률, 낙폭, 종료된 거래, 수수료, 펀딩을 확인할 수 있습니다. 모든 구간은 동일한 시작 자본으로 플랫에서 시작하므로, 개별 수익률이 하나의 계좌 결과로 복리 합산되지 않습니다. 짧은 로컬 지문은 우발적 변경을 감지하는 데 도움이 되지만 암호학적 서명은 아닙니다.
포함된 이력은 합성 데이터입니다. 마이너스 구간을 포함한 모든 구간을 검토하고, 어떤 출력이 규칙 변경에 영향을 주었는지 기록하세요. 모든 선택 이후에 별도로 남겨 둔 하나의 이후 구간에 대해서는 표본 외 테스트를 읽어 보세요. 이는 다른 평가 설계입니다. 제품의 현재 진단은 리서치 방법론에 설명되어 있습니다. 고정 규칙 점검을 적응형 워크포워드 시스템이라고 설명하지 마세요.
백테스팅 워크플로로 시작하고, 과최적화 위험을 읽고, 가설 워크시트에 예약 기간을 기록하세요. 엄격한 부정적 결과도 보존할 가치가 있는 결과입니다. 이 가이드는 일반적인 교육 자료이며, 투자 권유나 미래 성과에 대한 약속이 아닙니다.