표본 외 홀드아웃(out-of-sample holdout)은 이후 구간 하나를 따로 남겨두고, 그보다 앞선 데이터로 리서치 선택을 내리는 방식입니다. 해당 구간을 열기 전에 하나의 전략 버전, 비용 모델, 평가 기준을 고정합니다. 이는 이렇게 고정된 버전이 이 특정 예약 구간에서 어떻게 움직였는지를 답할 뿐이며, 워크포워드 평가에서 쓰이는 반복적인 적합-검정 일정과는 다릅니다.
이후 구간을 열기 전에 설계를 고정하기
가설, 규칙 버전, 파라미터, 진입·종료 방식, 비용, 벤치마크, 평가 지표, 날짜 경계를 먼저 적습니다. 해당 버전을 선택하기 전에 얼마나 많은 대안을 검정했는지 밝힙니다. 설계하는 동안에는 이후 관측치를 차트, 파라미터 스윕, 수동 점검에서 제외합니다. 이미 전체 이력을 살펴본 경우에는 익숙한 구간을 손대지 않은 구간이라고 부르지 말고, 더 이후의 데이터 출처 구간을 찾거나 기존 구간을 있는 그대로 설명합니다.
홀드아웃은 시간 순서에 따라 예약합니다. 인접한 가격 봉을 적합 그룹과 검정 그룹에 무작위로 배정하면 국지적인 시장 맥락이 새어나갈 수 있습니다. 학습 구간에 지표 워밍업 전체가 포함되는지, 경계를 넘는 포지션을 어떻게 처리하는지 명시합니다. 원본 데이터 출처와 정확한 규칙 버전을 보존해 입력을 바꾸지 않고도 평가를 반복할 수 있게 합니다.
결과는 한 번만 사용하고, 바뀌는 것은 기록하기
고정한 규칙과 비용 모델을 홀드아웃에 적용합니다. 전체 원장과 사전에 정한 지표를 저장하며, 부진한 결과, 낙폭(드로다운), 기각된 신호, 결측 데이터의 영향도 포함합니다. 불리한 구간을 본 뒤에 규칙을 바꾸고 같은 홀드아웃에서 다시 실행하지 않도록 합니다. 그러면 그 구간은 이미 리서치 선택에 영향을 준 것이므로, 홀드아웃을 사용 완료로 표시하고 무엇이 바뀌었는지 기록한 뒤, 수정된 버전을 평가할 새 이후 관측치를 예약합니다.
홀드아웃은 품질이 낮은 데이터, 비현실적인 체결 가정, 생존 편향, 룩어헤드 편향, 앞선 구간에서의 과도한 탐색을 고칠 수 없습니다. 홀드아웃 자체에, 다른 구간에 대해서는 거의 말해주지 못하는 희귀한 국면이 들어 있을 수도 있습니다. 표본이 작으면 잡음이 많을 수 있습니다. 결과와 함께 해당 구간의 날짜 범위, 크기, 거래 횟수, 선택 이력, 한계를 설명합니다.
전처리는 개발 경계 안에서 유지하기
시간 순서에 따른 날짜 분할만으로는 정보 누출을 막을 수 없습니다. 모델은 정규화 값, 결측값 대체 규칙, 선택된 피처, 확률 임계값, 그 밖의 변환에서도 학습할 수 있습니다. scikit-learn 가이드는 이러한 단계를 학습 데이터에 적합한 뒤, 학습된 변환을 홀드아웃 데이터에 적용하라고 안내합니다. 정규화기를 전체 이력에 함께 적합하면 이후 관측치가 모델에 영향을 줄 수 있습니다. 데이터 누출 가이드는 이러한 일반적인 머신러닝 함정을 설명합니다.
예를 들어 이전 수익률이 어떤 피처의 평균과 스케일을 정한다면, 홀드아웃을 열기 전에 그 적합값을 규칙 버전과 함께 저장합니다. 저장한 변환을 파라미터를 다시 계산하지 않고 이후 관측치에 적용합니다. 피처 선택, 결측값 처리, 확률 보정도 개발 표본 안에서 적합합니다. 그런 다음 완성된 파이프라인을 예약 구간에서 한 번 평가합니다. 그 결과가 피처, 임계값, 파이프라인 선택에 영향을 준다면 해당 구간을 사용 완료로 표시하고, 수정된 버전을 위해 새 이후 데이터를 예약합니다.
학습 기반 전처리가 없는 규칙 기반 전략에서도 같은 경계가 점검으로 조정할 수 있는 선택에 적용됩니다. 지표 기간, 유니버스 필터, 손절 거리, 벤치마크, 비용 가정, 보고 지표가 그렇습니다. 데이터 지문과 고정한 소스 코드가 있으면 어떤 입력과 변환이 그 결과를 만들었는지 밝히기 쉬워집니다. 홀드아웃은 개발과 동일한 인과적 피처 생성 규칙을 받아야 하며, 각 시뮬레이션 의사결정 시점까지 이용 가능한 관측치만 사용해야 합니다.
백테스트 과최적화 확률 연구의 저자들은 투자 백테스트에서 표준 홀드아웃 기법이 신뢰하기 어려울 수 있다고 보고하고, 선택 위험을 평가하기 위한 별도의 프레임워크인 조합 대칭 교차 검증(combinatorially symmetric cross-validation)을 제안합니다. 이 역시 암호화폐에 특화된 검증도, 보장도 아닙니다. 단순한 홀드아웃에 대한 실질적인 교훈은 얼마나 많은 대안을 시도했는지 밝히고, 유리한 구간 하나를 반복적인 선택에 대한 완전한 검정으로 취급하지 않는 것입니다.
리서치 카드로 경계를 실행 가능하게 만들기
가상의 돌파 연구를 예로 들면, 개발 과정에서 12개의 규칙 변형을 비교했다고 가정합니다. 그 탐색을 보고하고 규칙 하나를 선택한 뒤, 이후 예약 구간을 열기 전에 고정합니다. 간결한 검정 카드에는 다음을 기록할 수 있습니다.
- 규칙: 정확한 진입, 종료, 포지션 크기, 지표 워밍업, 수동 제외 항목, 버전 식별자를 저장합니다.
- 데이터 경계: 자산과 거래소, 봉 간격, 시간대, 데이터 출처 지문, 최종 개발 시각, 홀드아웃의 첫 번째·마지막 시각.
- 체결: 수수료 등급 또는 명시적 가정, 스프레드/슬리피지 모델, 펀딩비 처리, 트리거/체결 시점, 갭, 경계 시점에 이미 열려 있는 포지션.
- 판독: 홀드아웃을 열기 전에 순수익률, 낙폭(드로다운), 거래 횟수, 노출, 벤치마크, 결측 데이터 처리를 정하고, 요약뿐 아니라 전체 원장도 보존합니다.
- 선택 이력: 시도한 변형의 수, 변형을 구분한 기준, 이 버전을 선택한 이유.
이후 구간이 룩백, 종료, 시작 날짜, 지표, 비용 모델에 대한 선택을 바꾼다면 그 결정을 기록하고 해당 구간을 홀드아웃에서 은퇴시킵니다. 부진한 결과도 여전히 근거의 일부입니다. 불편한 구간을 제거하고 나머지를 원래 예약한 검정이라고 설명하지 않도록 합니다.
워크포워드 평가와의 차이
단일 홀드아웃은 보통 하나의 고정된 구성을 이후 구간 하나에서 검정합니다. 워크포워드 과정은 앞선 적합 구간과 이후 평가 구간의 정해진 순서를 반복합니다. 둘 다 사전에 선언한 경계와 모든 튜닝 선택의 정직한 공개가 필요합니다. 수십 개의 워크포워드 일정을 돌리고 가장 좋은 것만 발표하는 것도 선택 편향을 만듭니다. 가장 그럴듯한 차트를 보여주는 방법이 아니라 질문에 맞는 방법을 선택합니다.
SuperQuant의 진단적 분할은 지표 워밍업을 위해 앞선 관측치를 유지하면서 모의 테스트를 이후 시점에서 시작할 수 있습니다. 제품 문서는 연구자가 이미 데이터를 살펴본 경우 그 분할이 손대지 않은 구간이 아니라고 경고합니다. 포함된 이력은 합성 데이터이므로, 도구가 이를 분할한다고 해서 독립적인 거래소 근거가 생기는 것은 아닙니다. 완전한 예약 구간 프로토콜을 따르지 않았다면 그 실행을 진단적 분할이라고 설명합니다.
전략 가설 워크시트로 경계를 적은 뒤, 워크포워드 테스트와 백테스트 과최적화를 읽어보십시오. 근거가 새로운 규칙을 만들면 버전을 부여하고 새 평가를 정의합니다. 이 내용은 일반적인 리서치 안내이며, 투자 권유가 아닙니다.