Отложенная выборка (out-of-sample holdout) — это один более поздний сегмент, который откладывают в сторону, пока на более ранних данных делают исследовательские выборы. Зафиксируйте одну версию стратегии, модель издержек и порядок оценки до того, как откроете этот сегмент. Она отвечает на вопрос, как эта зафиксированная версия повела себя в этот единственный зарезервированный период; это не повторяющийся цикл подгонки и проверки, который применяется при walk-forward-оценке.

единственный зарезервированный холдаут с односторонней границей пересмотраБолее ранние наблюдения поддерживают исследовательские решения; затем версия стратегии, модель издержек, метрики и граница фиксируются, прежде чем открывается один более поздний холдаут. После просмотра результат может повлиять на последующие решения, поэтому пересмотренному правилу требуются новые более поздние доказательства.ОДНА ЗАМОРОЖЕННАЯ ВЕРСИЯ · ОДИН БОЛЕЕ ПОЗДНИЙ ЗАРЕЗЕРВИРОВАННЫЙ СЕГМЕНТРАЗРАБОТКАданные изучены · альтернативы опробованысохранение истории отбораФИКСАЦИЯправило + параметрымодель издержек + метрикаграница по датеОТКРЫТИЕ ОДИН РАЗодин более поздний зарезервированный сегментсообщение обо всех предварительно заявленных результатахНикакой обратной связи с этой оценкойЕсли это меняет правило — пометить холдаут использованным; зарезервировать более поздние доказательстваХолдаут — это лишь один фрагмент доказательств · повторный отбор по-прежнему имеет значение
Более ранние наблюдения поддерживают исследовательские решения; затем версия стратегии, модель издержек, метрики и граница фиксируются, прежде чем открывается один более поздний холдаут. После просмотра результат может повлиять на последующие решения, поэтому пересмотренному правилу требуются новые более поздние доказательства. ?????????????????? ?????????????????????? ?? ???? ???????????????? ?????????????? ?????????????????? ??????????????

Зафиксируйте дизайн до открытия более позднего сегмента

Сначала запишите гипотезу, версию правила, параметры, соглашение о входе и выходе, издержки, бенчмарк, метрику оценки и границу дат. Укажите, сколько альтернатив было проверено до выбора версии. Держите более поздние наблюдения вне графиков, перебора параметров и ручного просмотра, пока идёт проектирование. Если вы уже просмотрели всю историю, не называйте знакомый сегмент нетронутым; найдите более поздний исходный период или честно опишите существующий сегмент.

Резервируйте holdout в хронологическом порядке. Случайное распределение соседних ценовых баров между группами подгонки и проверки может привести к утечке локального рыночного контекста. Укажите, включает ли обучающее окно полный прогрев индикаторов и как обрабатываются позиции, пересекающие границу. Сохраняйте исходный источник и точную версию правила, чтобы оценку можно было повторить, не меняя входные данные.

Используйте результат один раз — и фиксируйте, что меняется

Примените зафиксированное правило и модель издержек к holdout. Сохраните полный журнал и заранее объявленные метрики, включая слабые результаты, просадки, отклонённые сигналы и эффекты пропущенных данных. Не поддавайтесь искушению изменить правило после того, как увидели неблагоприятный участок, и затем прогнать его на том же holdout. Этот сегмент теперь повлиял на ваши исследовательские выборы: отметьте holdout как использованный, зафиксируйте, что именно он изменил, и зарезервируйте новые более поздние наблюдения для оценки пересмотренной версии.

Holdout не может исправить данные низкого качества, нереалистичные допущения об исполнении, проблемы выживаемости, заглядывание вперёд или чрезмерный поиск на более ранних периодах. Он сам может содержать редкий режим, который мало говорит о других периодах. Малые выборки могут быть шумными. Объясните его диапазон дат, размер, число сделок, историю выбора и ограничения вместе с результатом.

что делать после просмотра холдаутаПросмотр зарезервированного холдаута делает его частью истории исследования. Сохраните этот результат; если он влияет на пересмотр, версионируйте новое правило и зарезервируйте более поздние невиданные наблюдения для его оценки.СОХРАНИТЕ ПЕРВЫЙ РЕЗУЛЬТАТ · СДВИНЬТЕ СЛЕДУЮЩУЮ ПРОВЕРКУ НА БОЛЕЕ ПОЗДНИЙ ПЕРИОДХОЛДАУТ ПРОСМОТРЕНсохранение результата и журналаОТМЕТИТЬ КАК ИСПОЛЬЗОВАННЫЙфиксация того, что повлияло на решениеНОВАЯ ВЕРСИЯ ПРАВИЛАсохранение прежнего правилаЗарезервировать более поздние непросмотренные даты для следующей оценкиУказывайте старый холдаут как историю разработки, никогда как новые доказательстваНе удалять и не перемаркировывать неблагоприятный первый результат
Просмотр зарезервированного холдаута делает его частью истории исследования. Сохраните этот результат; если он влияет на пересмотр, версионируйте новое правило и зарезервируйте более поздние невиданные наблюдения для его оценки. ?????????????????? ?????????????????????? ?? ???? ???????????????? ?????????????? ?????????????????? ??????????????

Держите предобработку внутри границы разработки

Хронологическое разделение по датам само по себе не предотвращает утечку информации. Модель также может учиться на значениях нормализации, правилах импутации, отобранных признаках, порогах вероятности или других преобразованиях. Документация scikit-learn рекомендует подгонять эти шаги на обучающих данных, а затем применять выученное преобразование к отложенным данным; подгонка нормализатора на объединённой истории позволяет более поздним наблюдениям влиять на модель. Руководство scikit-learn по утечке данных объясняет эту общую проблему машинного обучения.

подбор преобразований данных на наблюдениях периода разработки и их фиксация до открытия холдаутаВымышленный пример подбирает шаг нормализации только на наблюдениях периода разработки, фиксирует обученное преобразование и применяет его без изменений к более позднему холдауту. Повторный подбор на холдауте позволил бы более поздней информации попасть в построение модели.ПОДБИРАЙТЕ ПРЕОБРАЗОВАНИЯ ДО ХОЛДАУТА · ПРИМЕНЯЙТЕ ИХ БЕЗ ИЗМЕНЕНИЙДАННЫЕ ПЕРИОДА РАЗРАБОТКИнастройка масштабирования / заполнения пропусков / правил признаковвыбор порогов и модели здесьЗАМОРОЗИТЬсохранить обученные значениясохранить код + версиюбез повторного обучения после открытияПОЗДНЯЯ ОТЛОЖЕННАЯ ВЫБОРКАпреобразование с замороженными значениямиоценить один раз, затем раскрытьИнформация из отложенной выборки не попадает обратно в обучениеИллюстративный исследовательский процесс · не результат доходности стратегии
Вымышленный пример подбирает шаг нормализации только на наблюдениях периода разработки, фиксирует обученное преобразование и применяет его без изменений к более позднему холдауту. Повторный подбор на холдауте позволил бы более поздней информации попасть в построение модели. ?????????????????? ?????????????????????? ?? ???? ???????????????? ?????????????? ?????????????????? ??????????????

Например, если более ранние доходности определяют среднее и масштаб признака, сохраните эти подогнанные значения вместе с версией правила до открытия holdout. Применяйте сохранённое преобразование к более поздним наблюдениям, не пересчитывая его параметры. Отбор признаков, обработку пропущенных значений и любую калибровку вероятностей также подгоняйте внутри выборки разработки. Затем один раз оцените готовый конвейер на зарезервированном сегменте. Если результат влияет на выбор признака, порога или конвейера, отметьте сегмент как использованный и зарезервируйте свежие более поздние данные для пересмотренной версии.

Для стратегии на основе правил без выученной предобработки та же граница применяется к выборам, которые можно настроить путём просмотра: окна индикаторов, фильтры по набору активов (универсуму), дистанции стопов, бенчмарк, допущения об издержках и метрика отчётности. Отпечаток данных и зафиксированный исходный код упрощают установление того, какие входные данные и преобразования дали результат. Holdout должен получать те же причинные правила генерации признаков, что и разработка, используя только наблюдения, доступные к каждому моделируемому моменту принятия решения.

Авторы исследования Probability of Backtest Overfitting сообщают, что стандартные методы holdout могут быть ненадёжными в инвестиционных бэктестах, и предлагают отдельный подход — комбинаторно-симметричную кросс-валидацию (combinatorially symmetric cross-validation, CSCV) — для оценки риска выбора. Это не валидация, специфичная для криптовалют, и не гарантия. Практический урок для простого holdout — раскрывать, сколько альтернатив было испробовано, и не относиться к одному благоприятному сегменту как к полной проверке повторяющегося выбора.

Исследовательская карточка делает границу применимой на практике

Для вымышленного исследования пробоя предположим, что в ходе разработки сравнили 12 вариантов правила. Сообщите об этом поиске, выберите одно правило и зафиксируйте его до открытия более позднего зарезервированного периода. Компактная карточка теста может включать:

  • Правило: точные условия входа, выхода, размера позиции, прогрев индикаторов и любые ручные исключения; сохраните идентификатор версии.
  • Граница данных: актив и площадка, интервал баров, часовой пояс, отпечаток источника, финальная метка времени разработки и первые/последние метки времени holdout.
  • Исполнение: уровень комиссии или явное допущение, модель спреда/проскальзывания, учёт фандинга, момент срабатывания/исполнения, гэпы и позиции, уже открытые на границе.
  • Показатели (readout): выберите чистую доходность, просадку, число сделок, экспозицию, бенчмарк и обработку пропущенных данных до открытия holdout; сохраните полный журнал наряду со сводкой.
  • История выбора: число испробованных вариантов, чем они отличались и почему был выбран этот вариант.

Если более поздний период меняет ваш выбор окна ретроспективы, выхода, даты начала, метрики или модели издержек, зафиксируйте это решение и выведите сегмент из состава holdout. Слабый результат — тоже часть доказательств. Не удаляйте неудобное окно и не описывайте оставшееся как исходный зарезервированный тест.

Чем это отличается от walk-forward-оценки

Единичный holdout обычно проверяет одну зафиксированную конфигурацию на одном более позднем сегменте. Процесс walk-forward повторяет заданную последовательность более ранних окон подгонки и более поздних окон оценки. Оба требуют заранее объявленных границ и честного раскрытия каждого выбора при настройке. Прогон десятков схем walk-forward с публикацией только лучшего также создаёт смещение отбора. Выбирайте метод, соответствующий вопросу, а не тот, у которого самый лестный график.

Диагностическое разделение в SuperQuant может запускать моделируемый тест позже, сохраняя более ранние наблюдения для прогрева индикаторов. Документация продукта предупреждает, что разделение не является нетронутым, если исследователь уже просмотрел данные. Встроенные в продукт исторические данные синтетические; инструмент не создаёт независимые биржевые доказательства просто за счёт их разделения. Описывайте прогон как диагностическое разделение, если не был соблюдён полный протокол зарезервированного периода.

Используйте рабочий лист гипотезы стратегии, чтобы записать границу, затем прочитайте walk-forward тестирование и переобучение бэктеста. Когда доказательства ложатся в основу нового правила, версионируйте его и определите новую оценку. Это общие исследовательские рекомендации, а не инвестиционная рекомендация.