Kitabı oxu: «Профессия - аналитик букмекерской компании»
БОЛЬШОЙ ПРАКТИЧЕСКИЙ КУРС
ПРОФЕССИЯ «АНАЛИТИК БУКМЕКЕРСКОЙ КОМПАНИИ»
Статистика и данные. Вероятности и коэффициенты. Футбольные модели.
ML и калибровка. Линия и CLV. Серии и live. KNN и стратегии.
12 модулей · 120 уроков · 18 чек-листов · глоссарий
Второе издание — переработанное и расширенное
Учебные примеры не гарантируют прибыль: книга о качестве решений и дисциплине анализа.
Как устроена и как пользоваться книгой
Книга построена как маршрут: от перевода коэффициентов в вероятности (модуль 2) — к инженерной системе, которая получает данные, строит вероятность, сравнивает её с рынком, проверяет калибровку и следит, не исчез ли сигнал (модули 8–9). Финальный модуль собирает всё в защищаемый проект.
Каждый урок имеет постоянную структуру: «Суть» (теория с оглядкой на практику), «Формула» (минимум математики, который надо уметь воспроизвести), «Пример с числами» (кейс с честной арифметикой), «Типичные ошибки» (каталог самообмана по теме), «Задание» (применение к вашим данным) и «Вопросы для самопроверки». Уроки 9 и 10 каждого модуля — практикум и контроль: интегральный кейс и вопросы с эталонными ответами.
Три способа чтения. Линейный — для первого прохода: книга не перескакивает через зависимости. Проектный — для практика: читайте модули 2–3, затем сразу модуль 10, возвращаясь к тематическим блокам по запросу проекта. Справочный — для работающего стола: приложения в конце книги — это восемнадцать плотных чек-листов, заточенных под операционное использование.
Практическое правило курса, повторяемое намеренно до навязчивости: любая гипотеза проходит один путь — baseline → временной backtest → out-of-sample → forward test → оценка неопределённости. Книга считается усвоенной, когда эта цепочка выполняется автоматически, а не вспоминается.
Карта курса
Важно: о границах применимости
□ Модуль 1. Профессия аналитика — роль, данные, вероятность как язык, дисциплина процесса.
□ Модуль 2. Вероятности и коэффициенты — имплайд-вероятности, маржа, devig, EV и чувствительность.
□ Модуль 3. Статистика и данные — выборки, бутстрэп, утечки, множественные сравнения, временные разрезы.
□ Модуль 4. Футбольные модели — Пуассон, Skellam, Dixon–Coles, xG, рейтинги атаки и защиты.
□ Модуль 5. ML и калибровка — бустинг/лес/логрегрессия, log loss, Brier, reliability, ансамбли.
□ Модуль 6. Линия и CLV — жизненный цикл цены, price discovery, окна исполнения.
□ Модуль 7. Серии и тренды — автокорреляция, EWMA, марковские состояния, change points, регрессия к среднему.
□ Модуль 8. Live / in-play — state-space, hazard rate, latency, скрытые состояния.
□ Модуль 9. Аналитический стол — пайплайны, дашборды, алерты, реестр моделей, пост-мортемы.
□ Модуль 10. Финальный проект — полный цикл от датасета до защиты.
□ Спецблок. KNN — ближайшие соседи: метрики, веса, локальные режимы, поиск аналогов.
□ Research. Стратегии сообщества — CLV, line shopping, stale lines, миддлинг, арбитраж, пропсы, тайминг.
Книга посвящена аналитике и исследовательским методам. Ни один метод курса не гарантирует прибыль: спортивные рынки — конкурентная среда, где большинство участников проигрывает маржу, а финансовый результат любой стратегии подвержен сильной дисперсии на любых практических горизонтах.
Все числовые примеры носят учебный характер и опираются на упрощённые или синтетические данные; совпадения с реальными рынками случайны. Реальные решения требуют риск-менеджмента, контроля качества данных, юридической проверки применимости в вашей юрисдикции и ответственного отношения к азартным играм.
Если азартные игры перестают быть развлечением и начинают влиять на вашу жизнь — обратитесь за профессиональной помощью. Информация о линиях поддержки доступна в вашем регионе.
Модуль 1. Профессия аналитика
Роль, мышление, данные и рабочий процесс спортивного аналитика
Аналитик букмекерской компании — это не человек, который «хорошо разбирается в спорте». Это специалист, который превращает неопределённость спортивных событий в измеримые вероятности, а вероятности — в устойчивые решения под давлением рынка. Его продукт — не прогнозы, а воспроизводимый процесс: от постановки гипотезы до проверки результата.
В этом модуле мы разбираем, как устроена профессия изнутри: чем аналитик отличается от каппера и от data-инженера, какие данные он использует, что такое benchmark и почему без базовой линии не существует ни одного «успешного» результата. Отдельно разбираем типичные ошибки мышления, культуру документации и командную работу.
Ключевая мысль модуля: доказательство важнее истории. Красивая логика «почему команда должна выиграть» ничего не стоит, пока гипотеза не сформулирована до результата, не проверена на отложенной выборке и не сравнена с простой альтернативой.
ЧЕМУ ВЫ НАУЧИТЕСЬ В ЭТОМ МОДУЛЕ
• Понять границы роли: что аналитик делает и чего он не делает
• Научиться фиксировать момент доступности информации до построения модели
• Освоить понятия baseline, benchmark и предрегистрация гипотезы
• Разобрать типичные когнитивные ошибки спортивного аналитика
• Построить личный процесс: гипотеза → данные → проверка → вывод
1.1. Роль аналитика: кто он и за что отвечает
Аналитик в букмекерской индустрии отвечает за качество чисел, а не за яркость мнений. Его основной артефакт — оценка вероятности исхода, полученная воспроизводимым способом: из зафиксированных данных, по зафиксированной процедуре, с измеренной исторической точностью. Если оценку нельзя воспроизвести по описанию процесса — это не оценка, а мнение.
Внутри профессии выделяют три контура. Первый — исследовательский: поиск сигналов, формализация гипотез, отсеивание случайных закономерностей. Второй — продуктово-инженерный: подготовка данных, мониторинг моделей, поддержка линии. Третий — управленческий: оценка риска, лимиты, коммуникация с трейдерами. На старте карьеры почти всё время занимает первый контур, и именно в нём закладываются профессиональные привычки.
Принципиальная граница роли: аналитик не «предсказывает будущее». Он оценивает распределение вероятностей и сравнивает его с рыночной ценой. Даже модель с долгосрочным преимуществом будет регулярно ошибаться в отдельных событиях — профессионализм измеряется качеством процесса на дистанции, а не исходом конкретного матча.
Кейс: два аналитика и один матч
Аналитик А говорит: «Команда в отличной форме, соперник уставший после еврокубков — берём победу хозяев». Аналитик Б фиксирует: вероятность победы хозяев по его модели 0.54 при рыночной имплайд-вероятности 0.48; сигнал получен из признаков, доступных за 48 часов до матча; на отложенной выборке из 1 200 событий подобного рода модель показала Brier 0.205 против 0.213 у базовой линии. Матч заканчивается вничью. Для внешнего наблюдателя оба «ошиблись». Для профессионала разница принципиальна: решение А невозможно ни повторить, ни улучшить, ни проверить; решение Б — элемент статистики, которая через сотни повторений покажет истинное качество процесса. Из кейса следует рабочее правило: оценивайте решения, а не исходы. Плохое решение иногда выигрывает, хорошее иногда проигрывает — но только второе масштабируется.
ТИПИЧНЫЕ ОШИБКИ
✗ Путать роль аналитика с ролью прогнозиста: цель не «угадать матч», а построить процесс, стабильно оценивающий вероятности.
✗ Измерять себя отдельными событиями, а не распределением результатов на дистанции.
✗ Подменять доказательство уверенным тоном: убедительная формулировка не увеличивает точность модели ни на долю процента.
ЗАДАНИЕ
Опишите паспорт своего рабочего процесса на одну страницу: какие данные вы используете, в какой момент они доступны, какой у вас baseline, какую метрику качества считаете главной и при каком результате вы признаёте гипотезу проваленной. Сохраните документ — в конце курса вы сравните его с итоговой версией.
Вопросы для самопроверки
1. Чем артефакт аналитика отличается от прогноза каппера?
2. Почему выигрыш одиночного события не подтверждает качество решения?
3. Назовите три контура работы аналитика и их главные артефакты.
1.2. Данные: что мы знаем и когда мы это узнали
Центральный вопрос работы с данными — не «что в таблице», а «что было известно в момент прогноза». Спортивная история переписывается задним числом постоянно: составы уточняются, травмы публикуются с задержкой, статистика матчей исправляется, коэффициенты закрытия появляются после события. Если обучить модель на «окончательных» версиях данных, она незаметно подсмотрит в будущее.
Профессиональная привычка — у каждого признака хранить метку времени доступности: timestamp публикации, задержку источника, дату последнего обновления. Для каждого прогноза собирается срез «как было на момент T»: только строки, опубликованные до T. Это называется point-in-time discipline, и именно она отделяет исследование от самообмана.
Второй аспект — происхождение данных. Любой источник имеет лицензию, задержку, политику исправлений и историю сбоев. Аналитик документирует все четыре свойства. Дешёвый источник с честной историей ошибок ценнее дорогого «чёрного ящика», потому что позволяет оценить, какой шум заложен в модель уже на входе.
ДИСЦИПЛИНА POINT-IN-TIME
Обучающий набор для прогноза события в момент T включает только наблюдения с меткой доступности не позже T. Всё, опубликованное позже, для этого прогноза не существует.
Кейс: «утёкший» состав
Модель предсказывала результативность фаворита с фантастической точностью: log loss на истории выглядел лучше рыночного. Разбор показал причину: в обучающей выборке стояли стартовые составы из официального протокола — документа, публикуемого после матча, но датированного часом начала. Модель честно «узнавала» из будущего, выйдет ли травмированный форвард. После замены составов на пресс-конференции за день до игры точность упала ниже базовой линии. Вывод не «модель плохая», а «предыдущая оценка была измерением утечки, а не сигнала». Практический тест на утечку: спросите по каждому признаку, могли ли вы получить его значение в момент прогноза, заплатив обычную цену и подождав обычную задержку источника. Если нет — признак отклоняется.
ТИПИЧНЫЕ ОШИБКИ
✗ Использовать «финальную» версию статистики вместо версии, опубликованной до события.
✗ Игнорировать время появления коэффициентов: цена закрытия недоступна до закрытия.
✗ Не фиксировать источник и его историю исправлений — шум входа прячется в модель.
ЗАДАНИЕ
Возьмите свой текущий набор признаков и выпишите для каждого: источник, момент публикации относительно начала события, типичную задержку, случаи ретроактивных исправлений. Отметьте признаки, которые не проходят point-in-time проверку, и переведите их в раздел «вспомогательная аналитика, не для обучения».
Вопросы для самопроверки
1. Что такое point-in-time discipline и почему без неё бесполезен любой backtest?
2. Приведите два примера данных, которые чаще всего «текут из будущего».
3. Какие четыре свойства источника данных документирует аналитик?
1.3. Вероятность: язык профессии
Вероятность — единственная валюта, в которой аналитик сравнивает свои суждения с чужими. Фраза «команда сильнее» непроверяема; фраза «победа хозяев с вероятностью 0.58» проверяема статистически: на большом числе похожих оценок примерно 58 % событий должны заканчиваться победой. Это свойство называется калибровкой и является первым критерием осмысленности любой модели.
Фундаментальное свойство монетной (и спортивной) неопределённости: одиночное событие не может ни подтвердить, ни опровергнуть вероятность. Если вы оценили шансы 70 на 30 и случилось «30» — это не ошибка, это реализация хвоста распределения. Выводы делаются только по частотам больших выборок и по совокупным метрикам: Brier score, log loss, reliability-кривой.
Поэтому профессиональный словарь заменяет «уверен/не уверен» на «модель даёт 0.64 при историческом Brier 0.21 на 3 000 событий». Такая фраза содержит оценку, меру её качества и размер доказательной базы — всё, что нужно для рабочего решения.
ЭМПИРИЧЕСКАЯ ПРОВЕРКА КАЛИБРОВКИ
Разбиваем прогнозы на корзины по уровню вероятности; внутри корзины из n событий наблюдаемая частота должна совпадать со средней оценкой в пределах статистического шума.
Кейс: «60 %» на практике
Модель выдала за сезон 400 прогнозов с оценками в диапазоне 0.55–0.65. Средняя оценка в корзине — 0.60, наблюдаемая доля успехов — 0.545. Стандартная ошибка при n = 400 равна √(0.6·0.4/400) ≈ 0.0245; отклонение 0.055 — чуть больше двух стандартных ошибок. Это повод перепроверить калибровку, но не повод объявлять модель сломанной: две сигмы случаются у честных моделей примерно раз в двадцать проверок. На встречной выборке из 1 200 событий отклонение сократилось до 0.012 — предположение о систематическом смещении не подтвердилось. Урок: решения о перестройке модели принимаются на выборках, где шум мал по сравнению с эффектом, а не на эмоциях от одной неудачной корзины.
ТИПИЧНЫЕ ОШИБКИ
✗ Оценивать качество вероятности по одиночному событию — по определению невозможно.
✗ Выдавать точечную оценку без указания выборки, на которой измерено её качество.
✗ Считать «высокую вероятность» синонимом «обязательно произойдёт».
ЗАДАНИЕ
Выберите любой свой исторический массив прогнозов (или котировки закрытия как их замену). Постройте reliability-таблицу: разбейте оценки на корзины 0–0.1, 0.1–0.2, …, посчитайте в каждой среднюю оценку, фактическую частоту и размер корзины. Отметьте корзины, где отклонение больше двух стандартных ошибок.
Вопросы для самопроверки
1. Почему одиночное событие не проверяет вероятность?
2. Что такое калибровка и как её проверить на корзинах?
3. Какие три числа должен содержать профессиональный ответ о прогнозе?
1.4. Benchmark: без базовой линии нет результата
Любая модель всего лишь доказывает, что она лучше выбранной альтернативы. Поэтому прежде, чем строить «умную» систему, аналитик фиксирует baseline — простое воспроизводимое правило, которое обязана обыгрывать любая серьёзная методика. Без зафиксированной базовой линии цифра качества не интерпретируется: Brier 0.21 — это хорошо или плохо? Ответ существует только относительно конкурента.
В спортивной аналитике иерархия базовых линий примерно такова: (0) частота класса в обучающей истории («дома побеждают в 46 % случаев»); (1) рейтинг-команды без учёта контекста (Elo с фиксированными параметрами); (2) рыночная цена без маржи (devig closing). Обойти уровень (0) — проверка адекватности кода. Обойти (1) — доказательство, что признаки несут информацию. Обойти (2) на дистанции — уже претензия на реальную ценность, и она требует строжайшей проверки на утечки.
Важно зафиксировать baseline до начала эксперимента и не менять его задним числом. Если выбранный конкурент оказался слишком слабым или слишком сильным — это отдельное наблюдение, а не повод молча подменить линейку.
СКИЛЛ-СКОР ОТНОСИТЕЛЬНО BASELINE
Для метрик типа Brier или log loss: положительный скилл означает, что модель лучше базовой линии; ноль — паритет; отрицательный — модель хуже тривиального правила.
Кейс: победа над слабым соперником
Исследователь обучил градиентный бустинг и получил log loss 0.94, отчитавшись об «улучшении на 3 %». Выяснилось, что базовой линией служила частота исходов домашних побед за пять сезонов (log loss 0.97). Однако котировки закрытия после удаления маржи давали на той же выборке log loss 0.90 — то есть «умная» модель проигрывала рынку 4 %. Правильный вывод из эксперимента: признаки системы на тот момент не содержали информации сверх рыночной цены. Это не провал работы — отрицательный результат надёжнее ложноположительного: он останавливает вложения в бесперспективное направление. Рабочее правило: отчёт о качестве модели всегда двухстрочный — «модель против простого baseline» и «модель против рыночного benchmark». Одной цифрой качество не описывается.
ТИПИЧНЫЕ ОШИБКИ
✗ Сравнивать модель с заведомо слабой линейкой и выдавать это за силу сигнала.
✗ Менять baseline после того, как увиден результат (rationalization).
✗ Отчитываться одной метрикой без указания, относительно кого она измерена.
ЗАДАНИЕ
Для вашей текущей задачи выпишите трёхуровневую лестницу baseline: тривиальный (частоты), средний (простой рейтинг), рыночный (devig closing price). Укажите, какую метрику будете сравнивать на каждом уровне и какой размер выборки нужен, чтобы различие в 1 % метрики было статистически различимо.
Вопросы для самопроверки
1. Зачем фиксировать baseline до начала эксперимента?
2. Опишите трёхуровневую иерархию базовых линий в спортивной аналитике.
3. Что доказывает и что не доказывает скилл-скор +3 % относительно частот исходов?
1.5. Процесс решения: от гипотезы до вывода
Профессиональный процесс — это конвейер, в котором каждый узел зафиксирован до знакомства с результатом: формулировка гипотезы → определение момента доступности данных → выбор baseline → временной разрез выборки → обучение/настройка на прошлом → единственная проверка на будущем (out-of-sample) → экономическая оценка → решение о дальнейшей судьбе сигнала. Последовательность важнее узлов: она защищает от главной профессиональной опасности — построить объяснение после известного исхода.
Дисциплина предрегистрации: гипотеза фиксируется письменно до теста вместе с условиями фальсификации («сигнал считается мёртвым, если скилл-скор против devig на 1 000 новых событий не превысит 0»). Предрегистрация превращает исследование в эксперимент: любой исход становится информативным, а не только победный.
Отдельный узел — экономика. Статистически значимый сигнал может не покрывать маржу, ограничение ликвидности (низкий максимум ставки), проскальзывание цены или операционные издержки. Поэтому экономический блок считается после статистики, но до любого практического вывода.
Кейс: гипотеза «домашний недооценённый андердог»
Предрегистрация: вселенная — домашние команды с ценой победы выше 3.50; признаки — разность xG за 10 матчей и отдых; тест — сезон-2024, обучение на 2019–2023; метрика — ROI по флэту и Brier против devig; условие провала — отрицательный скилл или ROI ниже −5 %. Тест показал ROI −2.1 % при скилл-скоре +0.4 %: слабый статистический след, но после маржи экономики нет. По заранее записанному правилу гипотеза архивируется с пометкой «неэкономично при текущей марже», и команда идёт дальше — без попыток «подкрутить» фильтры, пока цифра не станет красивой. Именно здесь процесс отличается от хобби: заранее записанное условие провала исполняется так же неукоснительно, как и условие успеха.
ТИПИЧНЫЕ ОШИБКИ
✗ Тестировать гипотезу и формулировать выводы на одной и той же выборке.
✗ Не записывать условия фальсификации — тогда гипотеза неуязвима и бесполезна.
✗ Считать статистику и экономику одним шагом: сначала правда о сигнале, потом правда о деньгах.
ЗАДАНИЕ
Возьмите одну гипотезу из своего списка и оформите карточку предрегистрации: формулировка, вселенная событий, момент доступности данных, baseline, обучающий и тестовый периоды, метрика, условие провала. Подпишите датой и сохраните в неизменяемом виде до окончания теста.
Вопросы для самопроверки
1. Перечислите узлы профессионального конвейера решения.
2. Что даёт предрегистрация и почему нельзя менять её задним числом?
3. Почему экономическая оценка идёт после статистической, а не вместо неё?
1.6. Ошибки мышления: как аналитик обманывает себя сам
Самый состоятельный аналитик проигрывает не нехватке методов, а встроенным искажениям. Hindsight bias: после известного результата история «на ходу» переписывается — закономерность кажется очевидной, хотя до матча сигналов было десятки в обе стороны. Confirmation bias: ищутся подтверждающие примеры, а контрпримеры помечаются «исключениями». Selection bias: обсуждаются стратегии, дожившие до публикации; тысячи умерших в репозитории не попадают.
Отдельная группа — статистические ловушки. Data dredging: перебор сотен правил гарантирует, что какое-то пройдёт любой порог случайно (подробнее — модуль 3). Overfitting на шуме: сложная модель идеально описывает прошлое ровно настолько, насколько бесполезна в будущем. Регрессия к среднему: «серия из пяти побед» без сигнала возвращается к среднему сама, и стратегия «покупать на подъёме» систематически покупает на пике.
Противоядие — не сила воли, а структура: предрегистрация против hindsight, обязательный список контрпримеров против confirmation, временные разрезы против утечек, поправки на множественные сравнения против перебора, post-mortem культуры — чтобы ошибки превращались в институциональную память, а не в повторяющийся налог.
Кейс: триумф подтверждения
Исследование «домашних фаворитов после поражения» собрало 40 подтверждающих примеров и выглядело убедительно. Проверка полной вселенной нашла 310 событий правила; подтверждающие примеры составили типичную хвостовую долю, а ROI полной совокупности был −6 %.
ТИПИЧНЫЕ ОШИБКИ
✗ Верить, что дисциплина заменяет методику: искажения побеждаются процедурой, а не характером.
✗ Считать сложную модель защитой от шума — она лишь находит его элегантнее.
✗ Оценивать стратегию по опубликованным историям успеха, игнорируя молчащее большинство.
ЗАДАНИЕ
Проведите ревизию своих последних десяти выводов: для каждого отметьте, какие искажения могли повлиять на формулировку, и какой структурный приём (предрегистрация, полная выгрузка, поправка на перебор) нейтрализовал бы риск. Два вывода с самым слабым обоснованием — переделать по-настоящему.
Вопросы для самопроверки
1. Чем hindsight bias отличается от простой ошибки памяти?
2. Почему перебор правил гарантированно находит «успешное»?
3. Как функция post-mortem превращает ошибку в актив команды?
1.7. Документация: память, которая работает
Недокументированный результат через три месяца превращается в мифологию: «кажется, что модель тогда давала плюс». Рабочая документация состоит из четырёх устойчивых артефактов: журнал гипотез (дата, формулировка, условия фальсификации, итог), журнал данных (источники, задержки, исправления), карточки моделей (model card: версия, период, признаки, метрики, ограничения) и журнал решений (почему сигнал запущен, заморожен или убит).
Принцип reproducibility minimal: по документации посторонний специалист должен восстановить результат без вашей памяти и без вашего ноутбука. Практически это означает: версии библиотек в requirements, семя генератора в коде, идентификатор среза данных в отчёте, команда запуска — одной строкой в README.
Документация — это также юридический и психологический щит. В спорной ситуации она показывает, что решение принималось по зафиксированной процедуре; в период неудач она напоминает, чего стоит процесс, и не даёт переписывать прошлое под текущую эмоцию.
Кейс: воскрешение модели
Через полгода после заморозки потребовалось вернуть модель тоталов. По журналу: заморожена из-за изменения поведения лиги после перерыва (change point, приложение 9); накоплено достаточно новых наблюдений; версия 1.3 с теми же признаками прошла walk-forward заново. Решение о возврате заняло день вместо месяца — вся история гипотезы лежала в карточках, а не в чьей-то памяти. Контрпример из той же команды: «быстрый» эксперимент без журнала пришлось выбросить целиком — оказалось невозможно установить, на каких данных он обучался, и доверять цифрам было нельзя.
ТИПИЧНЫЕ ОШИБКИ
✗ Вести документацию «для начальства» — она пишется для себя через полгода.
✗ Документировать только победы: архив провалов экономит больше денег, чем архив успехов.
✗ Хранить код и данные без указания версий — воспроизводимость иллюзорна.
ЗАДАНИЕ
Создайте четыре шаблона: journal-entry для гипотезы, dataset-card, model-card, decision-log. Заполните каждый для одного недавнего случая из своей практики. Покажите коллеге (или перечитайте через неделю): всё ли воспроизводимо без устных пояснений?
Вопросы для самопроверки
1. Какие четыре артефакта составляют минимальную память аналитика?
2. Что означает критерий reproducibility minimal?
3. Зачем документировать провалы наравне с успехами?
1.8. Командная работа: аналитик среди людей
Аналитик почти никогда не работает один: трейдеры выставляют и двигают линию, инженеры поддерживают конвейер данных, риск-менеджеры следят за обязательствами, менеджмент отвечает за экономику. Каждая роль имеет свою функцию потерь: трейдер думает о балансе потоков, риск — о хвостах, аналитик — о качестве вероятности. Конфликт этих функций — не сбой, а конструктивное напряжение системы.
Язык коммуникации — числа плюс неопределённость, а не мнения. Вместо «я думаю, линия завышена»: «модель 0.44 против рынка 0.40, доверительный интервал шириной 0.05, история сигнала — 800 событий, ставка мониторинга такая-то». Такое сообщение можно проверить, принять или отклонить публично, без апелляции к авторитету.
Разборы без обвинений (blameless post-mortem) — обязательный ритуал после значимых сбоев: отделяют «решение было правильным, исход невезучий» от «процесс дал сбой». Первое требует ничего не чинить, второе — чинить процедуру, а не искать виноватого.
Кейс: конфликт скорости и точности
Live-направление: аналитик просил увеличить задержку перед подтверждением цены — модель успевала учесть свежий импульс игры; трейдинг возражал: длинная пауза отпугивала игроков. Компромисс нашли в данных: выигрыш модели концентрировался в первые 40 секунд после события. Решение — многоуровневая задержка: 40 секунд после гола/удаления, 5 секунд в прочее время. Оба подразделения получили свою метрику в одном документе: потери от устаревших цен против потерь оборота от паузы. Урок: конфликты функций решаются переводом спора в измеримые величины с одним временным разрезом, а не силой аргументации.
ТИПИЧНЫЕ ОШИБКИ
✗ Воспринимать ограничения других ролей как «непонимание», а не как другую функцию потерь.
✗ Сообщать точечный прогноз без неопределённости и истории сигнала.
✗ Превращать разбор сбоя в поиск виноватого — команда перестаёт приносить плохие новости.
ЗАДАНИЕ
Напишите «шаблон сообщения о сигнале» для вашей команды: оценка, рыночная цена, размер доказательной базы, неопределённость, предложенное действие, условия отмены. Прогоните по нему два последних реальных случая и сократите до пяти строк, не потеряв содержание.
Вопросы для самопроверки
1. Почему конфликт функций потерь между ролями — конструктивное явление?
2. Из каких элементов состоит профессиональное сообщение о сигнале?
3. Чем blameless post-mortem отличается от обычного разбора полётов?
1.9. Практикум модуля: аудит чужого «успешного» прогноза
Вам приносят результат знакомого каппера: за 8 месяцев 210 ставок, ROI +9.4 %, есть подробная таблица и логика «беру недооценённые домашние команды с серией поражений». Задача — за один рабочий день подготовить профессиональное заключение: стоит ли доверять этой методике как основе продукта. Работайте по узлам конвейера: воспроизводимость описания правил → point-in-time аудит данных → построение baseline → оценка статистической значимости результата → экономическая оценка → вывод с условиями, при которых заключение будет пересмотрено.
ИТОГ И ОБРАЗЕЦ РЕЗУЛЬТАТА
Типичный результат аудита: правило частично сформулируемо; половина «логики» неформализуема; чистый ROI против рынка исчезает или теряет значимость; рекомендация — продлить предрегистрацию на 3 месяца вперёд (forward test) вместо запуска. Защищаемый вывод за день — «недоказано», а не «ложно».
1.10. Контроль модуля: вопросы и типичные провалы
Вопросы с эталонными ответами
1. Почему репутация аналитика строится на процессе, а не на исходах? Исход одиночного события нечувствителен к качеству оценки: вероятность 0.6 реализуется неудачей в 40 % случаев. Репутационно релевантны лишь метрики распределения решений на большой дистанции.
2. Назовите три неотъемлемых элемента предрегистрации гипотезы. Письменная формулировка правила, обучающий и тестовый периоды, условия фальсификации с конкретной метрикой.
3. Что делает point-in-time проверка и где она чаще всего ломается? Гарантирует, что признак был доступен до момента прогноза. Ломается на стартовых составах из протоколов, исправленной статистике и ценах закрытия.
4. Чем скилл-скор информативнее абсолютной метрики? Он нормирует модель на конкретную базовую линию: та же цифра Brier означает прорыв относительно частот и провал относительно рынка.
5. Почему архив провалов экономит больше денег, чем архив успехов? Провалы не воспроизводятся: команда не покупает одни и те же ложные гипотезы каждые полгода новым составом.
ТИПИЧНЫЕ ПРОВАЛЫ МОДУЛЯ
✗ Выбор baseline после просмотра результатов
✗ Отчёт о качестве одним числом без сравнения
✗ Оценка гипотезы на обучающей выборке
✗ «Таблица успеха» без полной вселенной событий правила
✗ Документация, написанная после результата
Модуль 2. Вероятности и коэффициенты
Как цена отражает вероятность, где прячется маржа и что такое EV
Коэффициент — это цена, выраженная в языке вероятности, плюс комиссия рынка. Умение свободно переводить котировки в вероятности и обратно, извлекать из них маржу и сравнивать «честную» цену с рыночной — базовая грамотность аналитика, без которой не работает ни одна модель.
В модуле разбираем весь технический контур: имплайд-вероятность, маржа и overround, методы удаления маржи (devig), честные коэффициенты, математическое ожидание EV и его чувствительность к ошибке в оценке вероятности. Завершает модуль важнейший практический блок: рыночная цена как эталон, к которому придётся примеряться любой самодельной модели.
Модуль плотный по формулам, но каждая сопровождается числовым примером — отработайте их на калькуляторе, пока перевод «коэффициент ↔ вероятность ↔ маржа» не станет автоматическим.
ЧЕМУ ВЫ НАУЧИТЕСЬ В ЭТОМ МОДУЛЕ
• Свободно переводить коэффициенты в имплайд-вероятности и обратно
• Считать маржу рынка (overround) и интерпретировать её как комиссию
• Применять основные методы devig: proportional, power, Shin
• Считать EV и его чувствительность к ошибке оценки вероятности
• Использовать рыночную цену как обязательный benchmark
2.1. Имплайд-вероятность: что говорит цена
Десятичный коэффициент O определяет, какую вероятность рынок «закладывает» в исход: p_raw = 1/O. Коэффициент 2.50 означает имплайд-вероятность 0.40; коэффициент 1.25 — 0.80. Это не «истинная» вероятность события — цена включает маржу букмекера и отражает баланс денежных потоков, а не только оценку шансов. Поэтому корректный термин — «сырая» (raw) имплайд-вероятность.
Рабочее свойство языка цен: он универсален. Сравнение «модель против рынка», сравнение букмекеров между собой, сравнение рынков между собой — всё сводится к сравнению вероятностей на одной шкале 0–1, а не коэффициентов разных форматов.
Обратный перевод: честный коэффициент для вероятности p равен O = 1/p. Если модель даёт 0.55, «честная» цена — 1.818; любая рыночная цена выше 1.818 содержит положительное математическое ожидание при условии, что модель точнее рынка — условии, которое ещё предстоит доказать.
ИМПЛАЙД-ВЕРОЯТНОСТЬ И ЧЕСТНАЯ ЦЕНА
Перевод в обе стороны — один шаг. Вся сложность в том, что p_raw содержит маржу, поэтому сумма по исходам одного рынка больше единицы.
Кейс: чтение трёхисходной линии
Линия на матч: П1 — 2.10, X — 3.40, П2 — 3.60. Переводим: p_raw = 0.476 / 0.294 / 0.278. Сумма — 1.048, то есть рынок «продаёт» 104.8 % вероятности: 4.8 п.п. — валовая маржа. Сырые имплайд-вероятности нельзя сравнивать с модельными напрямую: шкалы разные. Прежде чем выносить суждение «модель против рынка», обе стороны приводятся к общей системе — либо модель грузится маржой, либо рынок очищается от неё (урок 4).
ТИПИЧНЫЕ ОШИБКИ
✗ Сравнивать модельную вероятность с сырой имплайд-вероятностью без удаления маржи.
✗ Трактовать цену как «мнение букмекера о шансах» — это цена с комиссией под поток денег.
✗ Путать форматы: десятичный, дробный (2.50 ↔ 6/4) и американский (+150 ↔ 2.50) — один язык, три записи.
ЗАДАНИЕ
Возьмите пять рынков из разных видов спорта (2-исходный, 3-исходный, тотал, фора). Переведите каждый коэффициент в p_raw, посчитайте сумму по рынку и маржу. Отсортируйте рынки по марже — убедитесь, что популярные рынки дешевле экзотики.
Вопросы для самопроверки
1. Что входит в p_raw помимо оценки шансов?
2. Почему сумма имплайд-вероятностей рынка больше единицы?
3. Чем сравнение вероятностей лучше сравнения коэффициентов?
2.2. Маржа: сколько стоит рынок
Маржа — комиссия, заложенная в цену. Если бы рынок продавал исходы «по себестоимости», сумма p_raw равнялась бы единице; фактическое превышение и есть валовая маржа рынка: M = Σp_raw − 1. Для игрока маржа — стоимость участия: чтобы выйти в ноль на двухисходном равновероятном рынке с маржой 5 %, нужно обыгрывать «честную» вероятность на ~2.5 п.п. ещё до всякой прибыли.
Маржа не распределена равномерно. На популярных рынках (1X2, тоталы топовых лиг) она составляет 2–4 %, на экзотике и статистике игроков — 7–12 %, на live-рынках в острые моменты — ещё выше. Следствие для аналитика: перенос методики со «дешёвого» рынка на «дорогой» меняет экономику даже при той же точности модели.
Важно различать валовую маржу рынка и эффективную маржу, которую платит конкретная стратегия: она зависит от того, какие исходы стратегия покупает. Фаворитный уклон (favorite–longshot bias) означает, что дальние коэффициенты исторически несут бо́льшую маржу, чем фавориты, — стратегия «только дальние андердоги» платит рынку дороже, чем кажется по средней марже рынка.
Сырые имплайд-вероятности и результат devig: маржа видна как «воздух» сверх единицы
ВАЛОВАЯ МАРЖА РЫНКА
Сумма сырых имплайд-вероятностей минус единица. Теоретический hold букмекера при сбалансированном потоке: M / (1 + M).
Кейс: цена удовольствия
Двухисходный рынок: 1.91 / 1.91. p_raw = 0.5236 + 0.5236 = 1.0471, маржа 4.71 %. Чтобы окупить её симметричными ставками, модель должна оценивать вероятность выбранной стороны минимум в 52.36 % вместо честных 50 % — порог точности +2.36 п.п. просто для выхода в ноль. Сравним с рынком 1.05 / 11.00: p_raw = 0.9524 + 0.0909 = 1.0433. Валовая маржа ниже (4.3 %), но её несёт почти целиком дальний исход: если честная цена андердога была бы без комиссии фаворита, скрытая нагрузка на дальнюю сторону заметно выше средней. Средняя маржа рынка — плохой прокси для стратегии со смещённым меню.
ТИПИЧНЫЕ ОШИБКИ
✗ Сравнивать модель с рынком, не вычтя маржу: «переоценка» может быть чистой комиссией.
✗ Приписывать маржу рынка поровну всем исходам — реальное распределение перекошено к дальним плечам.
✗ Игнорировать рост маржи на экзотике и в live при переносе методики.
ЗАДАНИЕ
Для десяти реальных рынков посчитайте валовую маржу и оцените, какую минимальную точность сверх честной вероятности требует каждый рынок для безубыточности. Сравните «фаворитную» и «дальнюю» стороны отдельно, применив proportional devig из урока 4.
Вопросы для самопроверки
1. Как маржа связана с необходимой точностью модели для выхода в ноль?
2. Почему средняя маржа рынка может вводить в заблуждение конкретную стратегию?
3. Где маржа обычно выше и почему?
2.3. Overround и книганизация: как собирается цена
Overround (оверраунд) — техническое имя валовой маржи: величина, на которую «книга» дороже ста процентов. Для букмекера это не чистая прибыль, а валовая: из неё покрываются выплаты при несбалансированном потоке, налоги, платёжные издержки, маркетинг. Но для аналитика overround — прежде всего ширина канала, через который надо протолкнуть сигнал.
Книганизация (bookmaking) — искусство расставлять цены так, чтобы при любых распределениях прогрузов обязательства оставались управляемыми. Практическое следствие: линия двинется не только из-за новой информации, но и из-за асимметрии поступивших денег. Движение цены — смесь информации и балансировки, и отделять одно от другого — отдельная работа (модуль 6).
Для аналитика рынка важен ещё и порядок построения книги: сначала формируется «сильная» оценка (например, 1X2), затем производные рынки (тоталы, форы, точные счета) согласуются с ней и между собой, чтобы не оставить внутренних арбитражных дыр. Несогласованность производных с «материнским» рынком — исторический источник сигнала, который быстро умирает, как только его находят.
OVERROUND И HOLD
Если overround = 1.048, теоретический hold = 1 − 0.954 = 4.6 %: столько букмекер удержал бы при идеально сбалансированной книге.
Кейс: согласование рынков
Модель аналитика по 1X2 даёт вероятности 0.50 / 0.27 / 0.23. Производный рынок «обе забьют — нет» исторически согласуется с диагональю матрицы счётов: если модель 1X2 подразумевает много сухих побед хозяев, а рынок «обе забьют» оценён «мокро», где-то в производных сидит несогласованность. Проверка связки «честный 1X2 → матрица счётов Пуассона → честные тоталы и ОЗ» раньше была рабочим инструментом сверки цен внутри одного букмекера. Сегодня крупные операторы согласуют книгу автоматически — но на мелких лигах и в live рассинхрон всё ещё появляется на минуты.
ТИПИЧНЫЕ ОШИБКИ
✗ Считать overround чистой прибылью оператора и строить на этом выводы об «алчности» цены.
✗ Игнорировать, что движение линии бывает балансировочным, а не информационным.
✗ Искать внутренние несостыковки рынков вечно: обнаруженная дыра в согласовании живёт недолго.
ЗАДАНИЕ
Возьмите один матч и соберите связку: 1X2, тотал 2.5, «обе забьют». Через Пуассон-сетку (модуль 4) подберите ожидаемые голы команд, согласующиеся с рынком 1X2 после devig, и проверьте, какие тоталы и ОЗ из этой сетки следуют. Сравните с фактическими ценами производных рынков.
Вопросы для самопроверки
1. Чем overround отличается от hold?
2. Почему движение цены — не всегда новая информация?
3. Что означает несогласованность производных рынков с базовым и как долго она живёт?
2.4. Devig: извлечение честных вероятностей из цены
Чтобы сравнить модель с рынком, цену нужно очистить от маржи — эта операция называется devig. Методов несколько, и они не эквивалентны. Пропорциональный (proportional): p_i = p_raw_i / Σp_raw — маржа снимается равномерно со всех исходов. Степенной (power): подбирается показатель k так, чтобы Σp_raw_i^k = 1 — маржа снимается сильнее с дальних исходов. Метод Шина: маржа моделируется как следствие инсайдерской торговли и снимается через уравнение с параметром z.
Выбор метода — эмпирический вопрос. Стандартный тест: на большой истории посчитать, какой devig лучше калибруется к фактическим исходам (меньший log loss). В большинстве опубликованных исследований по футболу и теннису Shin и power-методы заметно точнее пропорционального именно на дальних плечах, где концентрируется favorite–longshot bias.
Операционное правило: сырые вероятности, честные вероятности (по выбранному методу) и модельные вероятности хранятся тремя отдельными колонками. Смешение шкал — источник номер один фантомных «преимуществ перед рынком».
ТРИ МЕТОДА DEVIG
Кейс: три правды одного рынка
Рынок 1.25 / 4.50 / 12.0 (p_raw: 0.800 / 0.222 / 0.083, overround 1.106). Пропорциональный devig: 0.724 / 0.201 / 0.075. Power (k ≈ 1.17): 0.771 / 0.174 / 0.055. Shin-оценка обычно ещё сильнее «поднимает» фаворита и «опускает» дальний исход. Разница между методами на фаворите — почти пять п.п. (0.724 против 0.771): если ваша модель оценивает фаворита в 0.75, выбор метода devig буквально решает, есть ли «переоценка рынка». Следствие: фиксируйте метод devig в предрегистрации гипотезы, а не подбирайте его под результат.
ТИПИЧНЫЕ ОШИБКИ
✗ Хранить одну колонку вероятностей и забыть, сырая она или честная.
✗ Сравнивать модель с devig, выбранным задним числом под желаемый вывод.
✗ Применять пропорциональный метод на рынках с сильным фаворитным уклоном без проверки альтернатив.
ЗАДАНИЕ
Реализуйте три функции devig (proportional, power, shin) и протестируйте их на историческом массиве котировок закрытия: какой метод даёт минимальный log loss против фактических исходов? Результат зафиксируйте для каждого вида спорта и типа рынка отдельно.
Вопросы для самопроверки
1. Почему удаление маржи — неоднозначная операция?
2. В чём эмпирический критерий выбора метода devig?
3. Почему raw/devig/model вероятности хранятся раздельно?
2.5. Fair odds: честная цена как мост между моделью и рынком
Честный коэффициент — зеркальный перевод вероятности в цену без комиссии: O_fair = 1/p. Если модель даёт 0.50 на победу, честная цена 2.00: при рыночной цене выше 2.00 ставка имеет положительное матожидание (при верной модели), ниже — отрицательное. Граница «берём / не берём» проходит ровно по равенству цены и 1/p_model.
На практике равенство заменяют порогом с запасом: рыночная цена должна быть выше честной на величину, покрывающую неопределённость модели, шум цены и предпочтение по риску. Типичный приём — требовать edge ≥ 3–5 % (где edge = O_market/O_fair − 1), причём порог растёт для рынков с малой историей сигнала. Связка «модель → fair odds → сравнение с рынком» — единый интерфейс, к которому приводятся все сигналы курса: футбольные тоталы, live-оценки, KNN-аналоги, пропсы. Один интерфейс позволяет ставить рядом стратегии разной природы и сравнивать их на одной метрике — ожидаемом EV на единицу оборота.
ЧЕСТНЫЙ КОЭФФИЦИЕНТ И EDGE
O_fair = 1/p_model; edge = O_market · p_model − 1 edge — ожидаемая доходность на единицу ставки. Положителен, когда рыночная цена выше честной из модели.
Кейс: порог вместо равенства
Модель: p = 0.44, честная цена 2.273. Рынок даёт 2.35: edge = 2.35·0.44 − 1 = +0.034 (+3.4 %). Достаточно ли? Если историческое стандартное отклонение оценки модели на таких матчах — 0.03 вероятности, «честная» цена лежит в полосе от 1/0.47 ≈ 2.13 до 1/0.41 ≈ 2.44: наблюдаемый edge +3.4 % целиком помещается внутри этой полосы и может оказаться чистым шумом. Команда принимает правило: действовать при edge ≥ 5 % на зрелом сигнале и ≥ 8 % на молодом. Политика порога — это баланс двух издержек: упущенная прибыль от пропусков против убытков от ложных сигналов.
ТИПИЧНЫЕ ОШИБКИ
✗ Действовать на любой положительный edge, игнорируя неопределённость модели.
✗ Считать fair odds из вероятности, взятой без калибровочной проверки: плохая p ломает всё.
✗ Забывать, что рыночная цена тоже шумная: edge измеряется между двумя распределениями, а не двумя точками.
ЗАДАНИЕ
Соберите на одной странице таблицу ваших последних 20 оценок: p_model, fair odds, рыночная цена, edge. Пересчитайте edge при сдвиге модельной вероятности на ±2 п.п. и отметьте, сколько ставок «выживет» пертурбацию. Это грубая, но честная карта устойчивости вашего потока решений.
Вопросы для самопроверки
1. Как честный коэффициент превращается в правило входа?
2. Зачем нужен порог edge выше нуля и из чего он складывается?
3. Почему единый интерфейс «модель → fair odds» важен для сравнения стратегий?
2.6. EV: математическое ожидание как единственный судья
Математическое ожидание ставки: EV = p·(O−1) − (1−p) = p·O − 1 в расчёте на единицу ставки. EV = +0.05 означает: при бесконечном повторении решения средняя доходность стремится к +5 % на оборот. Судьбоносное следствие: оценка серии решений сводится к оценке суммы независимых почти-случайных величин — к ней применимы все инструменты статистики, включая доверительные интервалы.
EV — не гарантия, а центр распределения. При EV +5 % и типичных коэффициентах 2.0 серия из 200 ставок имеет стандартное отклонение результата порядка 7 п.п.: убыточная серия при честном плюсовом процессе — обычное событие, а не аномалия. Поэтому доказательство edge требует объёмов, о которых интуиция не подозревает: заметить 3-процентное преимущество раньше, чем через ~1 000 ставок, почти невозможно (подробности — модуль 3).
Вторая сторона уравнения — геометрический смысл: ставить больше оптимального (Келли и дроби) при том же EV меняет не среднее, а хвосты судьбы банкролла. Полный Келли максимизирует ожидаемый логарифм капитала, но при ошибочно завышенной вероятности удваивает убытки перпендикулярно ошибке; дробный Келли (¼ и меньше) — индустриальный стандарт выживания.
Даже честный плюсовой процесс проходит долгие убыточные полосы: шум против сигнала
EV И КРИТЕРИЙ КЕЛЛИ
Келли-фракция — доля банкролла, максимизирующая асимптотический рост. На практике — только с дроблением и только при доказанной оценке p.
Кейс: как долго доказывается преимущество
Стратегия с честным EV +4 % на коэффициентах около 2.0. После 500 ставок фактический ROI +0.8 %. Дилетант объявляет стратегию провальной. Считаем шум: σ одной ставки ≈ 1 (при 2.0 выигрыш +1 с вероятностью ~0.52); стандартная ошибка среднего на 500 ставок ≈ 1/√500 ≈ 4.5 п.п. Наблюдаемые 0.8 % лежат в интервале 4 − 2·4.5 … 4 + 2·4.5 — ровно посередине ожидаемого диапазона. Проверка ещё не дала никакой информации, кроме «нет противоречия». Именно поэтому форвард-тесты планируются с заранее вычисленным горизонтом: сколько событий нужно, чтобы заявленный edge отделился от нуля двумя сигмами (модуль 3, урок о выборке).
ТИПИЧНЫЕ ОШИБКИ
✗ Судить EV по исходу короткой серии — шум доминирует над сигналом сотнями событий.
✗ Применять полный Келли к некалиброванной вероятности: ошибка оценки бьёт по росту квадратично.
✗ Считать EV до маржи и комиссий: платёжные издержки и налоги — часть реальной цены.
ЗАДАНИЕ
Смоделируйте монетой-генератором (или в Python) 1 000 траекторий стратегии с EV +4 %, p = 0.52, O = 2.0, по 500 ставок каждая. Посчитайте, в какой доле траекторий фактический результат убыточен. Сравните свою интуицию «когда уже можно судить» с полученным распределением.
Вопросы для самопроверки
1. Что конкретно утверждает EV = +5 % и чего он не утверждает?
2. Почему 500 ставок недостаточно, чтобы распознать преимущество в 3–4 %?
3. Чем полный Келли опасен при ошибке в оценке вероятности?
2.7. Чувствительность: насколько ошибка в p ломает EV
EV линеен по p: dEV/dp = O. На коэффициенте 3.0 ошибка оценки вероятности всего в 1 п.п. сдвигает ожидаемую доходность на 3 п.п. — столько же, сколько даёт многие модели в качестве edge. Отсюда суровый закон: чем длиннее коэффициенты, тем выше требования к точности оценки вероятности при той же абсолютной ошибке.
Практический инструмент аналитика — карта чувствительности: для каждого рынка строится сетка «сдвиг p на ±ε → EV решения». Если вывод «брать» держится только при идеальной точности модели и рассыпается при ε = 0.01, решение не принимается: доказуемая историческая точность модели почти никогда не лучше 1 п.п. на конкурентных рынках.
Вторая ось чувствительности — цена входа. Потеря одного-трёх тиков (например, 2.10 вместо 2.14) на дистанции съедает заметную долю edge: при edge 4 % проскальзывание 2 % цены отбирает половину ожидания. Поэтому исполнение (где и когда берётся цена) — полноправная часть модели, а не «техническая мелочь».
ЛИНЕЙНАЯ ЧУВСТВИТЕЛЬНОСТЬ EV
Оба перехода линейны, но их размеры в жизни радикально различны: Δp в 1 п.п. на длинной цене дороже, чем ΔO в пару тиков на короткой.
Кейс: красивый сигнал на длинном плече
Сигнал на аутсайдеров с ценой 5.0 показывал edge +6 % при модельной оценке p = 0.212 (честная цена 4.72). Проверка чувствительности: при истинном p = 0.20 EV схлопывается в 0. Историческая калибровочная ошибка модели на таком диапазоне — 1.5 п.п. Вывод: заявленный edge целиком лежит внутри одной сигмы калибровки и недоказуем. Стратегия отклонена несмотря на «красивый» бэктест. Аналог на исполнении: рынок 2.04 вместо модельных 2.00 отрезал ROI на 2 п.п. — на дистанции это перевешивало весь сигнал. Модель без политики исполнения оценивает мир, в котором цены не двигаются.
ТИПИЧНЫЕ ОШИБКИ
✗ Отчитываться edge без карты чувствительности к Δp и ΔO.
✗ Экстраполировать калибровку с коротких цен на длинные: хвосты калибруются отдельно.
✗ Считать проскальзывание случайной мелочью — на дистанции это систематический налог.
ЗАДАНИЕ
Постройте карту чувствительности для своего главного сигнала: ось X — сдвиг p от −3 до +3 п.п., ось Y — потеря цены от 0 до 3 тиков; залейте ячейки знаком EV. Отметьте границу жизнеспособности и оцените, сколько реальных решений лежит на безопасной стороне.
Вопросы для самопроверки
1. Почему на длинных коэффициентах цена ошибки Δp выше?
2. Что показывает карта чувствительности и как она меняет решение?
3. Как проскальзывание входа взаимодействует с размером edge?
2.8. Рыночный benchmark: цена закрытия как судья высшей инстанции
На ликвидных рынках цена закрытия (closing line) — самая точная публичная оценка вероятности: она переварила максимум доступной информации, включая деньги профессиональных игроков. Отсюда два промышленных применения. Первое: devig closing — обязательный верхний baseline для любой модели; если система годами не приближается к его качеству, весь её «сигнал» — иллюзия или пережиток. Второе: сравнение цены входа с закрытием (CLV, модуль 6) — быстрый прокси качества решений задолго до накопления статистики исходов.
Важно помнить об ограничениях benchmark. Цена закрытия сильна там, где ликвидность и конкуренция: топ-футбол, НБА, теннис-шлемы. На вторых лигах, женских турнирах, пропсах и стартовых составах аутсайдеров closing заметно шумнее, и «обыграть рынок» там проще — но и маржа выше, и максимумы ниже, и мониторинг качества сложнее.
Правильная метрика против рынка — не «процент угаданных исходов», а сравнимые скоринг-функции: log loss и Brier модели и devig-цены на одной и той же выборке событий, плюс экономический тест (ROI после маржи и комиссий) на независимом форвард-периоде.
СКИЛЛ ПРОТИВ РЫНКА
Положительное значение на большой выборке — сильное утверждение; оно требует форвард-подтверждения и аудита на утечки.
Кейс: стартовая линия как хищник
Исследовательская модель тоталов на второй баскетбольной лиге на внутреннем бэктесте дала скилл +4 % к devig закрытия. Прежде чем радоваться, команда запустила 3-месячный forward test с фиксированными правилами логирования цены входа. Форвард показал +1.2 % умеренного скилла и CLV +0.8 тика: сигнал существует, но вдвое слабее, чем обещала история. Отклонение объяснилось известной причиной — за год между бэктестом и форвардом рынок стал эффективнее: сигналы вымирают, и вторая производная эффективности рынка — часть риска любой стратегии.
ТИПИЧНЫЕ ОШИБКИ
✗ Переносить выводы о слабости рынка с топ-лиг на экзотику и обратно.
✗ Сравнивать модель с рынком по «проценту исходов» вместо скоринг-функций.
✗ Трактовать closing line как истину в последней инстанции и на неликвиде.
ЗАДАНИЕ
Для выбранного вами рынка соберите 500 закрывшихся событий, очистите цены от маржи согласованным методом и посчитайте log loss рынка. Это число — стена, о которую будут биться все ваши модели. Запишите его в журнал как первую строку benchmark-раздела.
Вопросы для самопроверки
1. Почему цена закрытия — сильнейший публичный benchmark?
2. Где рыночный benchmark слаб и что это означает для моделиста?
3. Какими метриками корректно соревноваться с рынком?
2.9. Практикум модуля: полный разбор одной линии
Дана прематчевая линия футбольного матча: П1 — 2.05, X — 3.30, П2 — 3.75; тотал больше 2.5 — 1.95, меньше — 1.85; «обе забьют: да» — 1.80, «нет» — 2.00. Ваша модель (из модуля 4) оценивает вероятности 1X2 как 0.46 / 0.28 / 0.26, P(тотал > 2.5) = 0.52, P(обе забьют) = 0.545.
Задание — прогнать всю линию через полный инструментарий модуля: от сырых имплайд-вероятностей до решений о входе с указанием порога edge и карты чувствительности.
ИТОГ И ОБРАЗЕЦ РЕЗУЛЬТАТА
Честный результат типичной модели против зрелой линии: ни одного входа. Это норма, а не провал — на ликвидном рынке цена близка к честной, и модель подтверждает своё согласие с рынком. Ценность практикума — в выработке привычки фиксировать «нет решения» как полноценный результат процесса. Проверка чувствительности: сдвиг модели на +1.5 п.п. по тоталу превращает edge в +4.3 %, что выше порога, — но одной нестабильной оценки для входа недостаточно (урок 7).
2.10. Контроль модуля: вопросы и типичные провалы
Вопросы с эталонными ответами
1. Линия 1.91/1.91: какова маржа и какой порог точности она задаёт? p_raw = 0.5236+0.5236, маржа ≈ 4.7 %. Для безубыточности модель должна оценивать сторону в 52.4 % вместо честных 50 %.
2. Чем devig power отличается от proportional и почему это важно? Power снимает больше маржи с длинных исходов, отражая фаворитный уклон; proportional распределяет равномерно и переоценивает дальние вероятности.
3. EV = p·O − 1. Почему он не гарантирует результат серии? EV — математическое ожидание на бесконечности; дисперсия на конечной дистанции велика: при O ≈ 2 даже сотни ставок не отделяют сигнал от шума.
4. Что такое edge и почему применяется порог выше нуля?
Edge = O_market·p_model − 1. Порог покрывает неопределённость модели, шум цены и предпочтение по риску.
5. Роль closing line в системе координат аналитика? Сильнейший публичный benchmark и основа CLV; проигрыш ему на дистанции — признак отсутствия сигнала.
ТИПИЧНЫЕ ПРОВАЛЫ МОДУЛЯ
✗ Сравнение модели с сырыми ценами без удаления маржи
✗ Выбор метода devig задним числом под результат
✗ Порог edge = 0 без учёта неопределённости
✗ Выводы по EV на серии в пару сотен событий
✗ Игнорирование проскальзывания цены входа
Модуль 3. Статистика и данные
Выборки, дисперсия, утечки и почему перебор находит «золото»
Переход от «понимания коэффициентов» к «пониманию данных» — самый резкий в курсе. Здесь создаются рабочие суеверия профессии: недоверие к маленьким выборкам, уважение к дисперсии, привычка резать время ножом, а не взглядом, и почти религиозный ужас перед утечкой информации.
Модуль разбирает восемь опорных тем: размер выборки и силу теста, дисперсию результата, бутстрэп как универсальный измеритель неопределённости, систематические смещения данных, утечки (leakage), проблему множественных сравнений, временные разрезы и контроль качества данных. Каждая тема — один способ, которым исследование врёт себе; вместе они образуют иммунную систему аналитика.
Формул немного, но каждую нужно «потрогать числом». Все примеры модуля воспроизводимы на коленке: монета, калькулятор и тридцать строк Python.
ЧЕМУ ВЫ НАУЧИТЕСЬ В ЭТОМ МОДУЛЕ
• Оценивать, сколько событий нужно для доказательства эффекта заданного размера
• Считать дисперсию ROI и строить доверительные интервалы
• Применять бутстрэп для неопределённости любых метрик
• Распознавать bias и leakage до того, как они попали в модель
• Применять поправки на множественные сравнения и temporal split
3.1. Выборка: сколько событий покупает право на вывод
Сила статистического вывода растёт не с «умностью модели», а с числом независимых наблюдений. Эмпирическое правило профессии (правило Лера): чтобы отличить эффект размера δ от нуля с приличной надёжностью, требуется порядка n ≈ 16σ^2/δ^2 событий. Для ставочной метрики с σ ≈ 1 (коэффициенты ~2.0) и эффекта 3 п.п.: n ≈ 16/0.03^2 ≈ 17 800 ставок. Интуиция без формулы систематически недооценивает этот объём на порядок.
Второй закон выборки — иерархия «чем реже событие, тем длиннее нужна история». Модель голов (в среднем 2.6 за матч) калибруется на тысячах игр; модель красных карточек (~0.25 за матч) — на десятках тысяч; область применимости результата определяется знаменателем вашего события, а не громкостью названия лиги.
Третий закон — независимость наблюдений. Пятьсот ставок на взаимосвязанные исходы одного матч-центра (один день, одна лига, коррелированные рынки) содержат меньше информации, чем пятьсот разбросанных по календарю. Эффективный размер выборки при корреляциях ρ падает примерно как n_eff ≈ n / (1 + (m−1)ρ) для кластеров по m событий — учитывайте это, сгруппировав ставки по матчам.
МИНИМАЛЬНЫЙ РАЗМЕР ВЫБОРКИ
Точно при α = 0.05 и мощности 80 %: n ≈ 7.8σ^2/δ^2; консервативное инженерное правило Лера с запасом: n ≈ 16σ^2/δ^2 — им пользуемся при планировании. δ — минимальный эффект, который мы готовы признать значимым.
Кейс: дисциплина горизонта
Новый сигнал обещал edge +4 % при ценах около 2.5 (σ одной ставки ≈ 1.3). Требуемый горизонт доказательства: n ≈ 16·1.69/0.04^2 ≈ 16 900 ставок. При скорости сигнала 40 событий в месяц это 35 лет — гипотеза была перепроектирована под более частые рынки ещё до запуска, чем сэкономлены годы жизни на накапливание недоказуемого. Обратная сторона: для популярного рынка (сотни событий в неделю) заявленный эффект 1.5 п.п. доказуем за сезон. Размер эффекта и частота событий задают архитектуру исследования раньше, чем выбран хоть один признак.
ТИПИЧНЫЕ ОШИБКИ
✗ Строить выводы по сотне-двум событий, где шум заведомо больше эффекта.
✗ Считать все ставки независимыми, игнорируя кластеризацию по матчам и лигам.
✗ Выбирать δ постфактум под уже наблюденный эффект — тест теряет смысл.
ЗАДАНИЕ
Возьмите ваш сигнал и прикиньте: средний коэффициент, σ одной ставки, δ -правдоподобный минимальный edge, частота событий в месяц. Посчитайте горизонт доказательства в месяцах. Если он длиннее двух лет — сформулируйте, что изменится в дизайне: шире вселенная, выше частота, либо сигнал отправляется в долгий архив мониторинга.
Вопросы для самопроверки
1. Откуда берётся квадрат в формуле размера выборки и что он означает практически?
2. Почему редкие события требуют длинной истории?
3. Как корреляция внутри кластера ставок съедает эффективный n?
3.2. Дисперсия: второй персонаж любой серии
Результат дистанции — сумма двух слагаемых: EV и шум. Дисперсия шума зависит от меню цен: на длинных коэффициентах (O = 5) дисперсия одной ставки ≈ p(1−p)O^2 ~ 0.8·4^2·0.2 ≈ в шесть раз выше, чем на двухисходных коротких. Та же стратегия с тем же EV ощущается как «стабильная» на низких ценах и как «безумная пила» на высоких только из-за геометрии дисперсии. Профессионал следит не за ROI, а за t-статистикой накопленного результата: t = ROĪ·√n/σ. Убыточные двести ставок с t = −0.5 и прибыльные двести с t = +0.5 — одно и то же состояние незнания; дисциплина требует одинаково спокойно не делать выводов в обе стороны.
Дисперсия задаёт и формат коммуникации внутри команды: вместо «минус пять процентов за месяц» отчёт звучит как «−5 % ± 6 (95 % ДИ) при ожидаемых +3 %: отклонение в пределах нормы, изменений не требуется». Такая фраза предотвращает дорогостоящие перестройки рабочей системы из-за погоды случайности.
ДИСПЕРСИЯ И ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ROI
Чем длиннее средний коэффициент стратегии, тем шире вилка по той же выборке.
Кейс: две стратегии, один результат
Обе стратегии за 800 ставок показали +6 % ROI. Стратегия А работала на ценах ~1.7 (σ ≈ 0.65): t = 0.06·√800/0.65 ≈ 2.6 — результат на грани доказанного. Стратегия Б — на ценах ~4.5 (σ ≈ 1.75): t ≈ 0.97 — чистый шум. Одинаковый ROI, разные судьбы: А идёт в усиленный форвард-тест, Б — обратно в пакет исследований. Дополнительно: распределение прибыли Б по времени напоминало «ступеньку редких выигрышей» — психологически непереносимый профиль для операционного использования, даже если его EV существует.
ТИПИЧНЫЕ ОШИБКИ
✗ Сравнивать стратегии по ROI без учёта их дисперсий.
✗ Делать структурные выводы («лига изменилась») из одной отрицательной полосы.
✗ Пренебрегать психологической стоимостью профиля дисперсии при операционном запуске.
ЗАДАНИЕ
Для двух ваших типичных меню цен (короткие и длинные) посчитайте σ одной ставки, ширину 95 % ДИ для ROI на N = 100, 500, 2 000 ставок. Нарисуйте «сужающуюся воронку неопределённости» — этот график затем используйте при каждом соблазне вывода по короткой дистанции.
Вопросы для самопроверки
1. Как средний коэффициент меню влияет на дисперсию результата?
2. Что сообщает t-статистика серии и почему она заменяет «чувства к ROI»?
3. Как правильно звучит отчёт о минусовом месяце при длинном процессе?
3.3. Bootstrap: неопределённость без формул
Бутстрэп — рабочий ответ на вопрос «а насколько это точно?» для метрик, у которых нет удобной формулы стандартной ошибки: ROI, скилл-скор против рынка, доля убыточных месяцев, максимальная просадка. Процедура: из имеющейся серии длиной n делаем B (например, 10 000) случайных пересэмплирований с возвращением той же длины, считаем метрику на каждой реплике и смотрим на её распределение — квантили 2.5 % и 97.5 % дают 95 % интервал.
Сила метода — универсальность; слабость — те же допущения: обмениваемость и независимость. Ставки, кластеризованные по матчам, бутстрэпятся блоками (целыми матчами), иначе интервалы выйдут самонадеянно узкими. Временные зависимости обрабатываются блок-бутстрэпом по неделям/месяцам.
Особая ценность бутстрэпа — честная оценка просадки: «максимальный минус 18 единиц» в истории с помощью бутстрэпа превращается в распределение: «медианная максимальная просадка 18, 95-й перцентиль — 34». Второе число и есть то, на которое проектируется банкролл и нервы команды.
БУТСТРЭП-ИНТЕРВАЛ
Распределение θ* заменяет аналитическую формулу стандартной ошибки.
Кейс: распределение вместо числа
История сигнала: 620 ставок, ROI +3.8 %. Прямая отчётность: «плюс почти четыре». Блочный бутстрэп по матчам (10 000 реплик): интервал [−1.9 %, +9.5 %], доля отрицательных реплик 9 %. Картина меняет решение: в форвард-тест отправляется укреплённая версия с более широким меню, а не продуктовый запуск «под тот же процент». Максимальная просадка истории 15 единиц; бутстрэп-медиана просадок — 22; 95-й перцентиль — 40. Риск-очертания проектируются уже под второе число: лимиты устанавливаются так, чтобы «двухсигмовая» просадка не требовала вмешательства человека.
ТИПИЧНЫЕ ОШИБКИ
✗ Пересэмплировать ставки поштучно при кластерной структуре — интервалы лживо узки.
✗ Считать историческую максимальную просадку «худшим случаем» — это просто одна реализация.
✗ Применять бутстрэп к маленьким выборкам как заклинание: при n = 50 он не творит информацию из пустоты.
ЗАДАНИЕ
Реализуйте блочный бутстрэп для вашей серии: склейка ставок в блоки по матчу, 10 000 реплик, метрики ROI и максимальной просадки. Сдайте отчёт из трёх чисел: точечный ROI, его 95 % интервал, 95-й перцентиль просадки. Сравните с тем, как вы описывали тот же результат до бутстрэпа.
Вопросы для самопроверки
1. Какую задачу бутстрэп решает без формул и каково его главное допущение?
2. Почему блоки нужны при кластеризации ставок?
3. Чем отчёт о просадке через бутстрэп лучше исторического минимума?
3.4. Bias: систематические смещения данных
Смещение (bias) — ошибка, которая не убывает с ростом выборки: мусорные данные можно собирать петабайтами, истина не приблизится. Классификация рабочих смещений аналитика: отбор выживших (survivorship: модели и стратегии, дожившие до публикации, — не случайная выборка), смещение окна (история начинается с момента, когда данные стали удобны, а не когда явление началось), смещение лиги/эры (правила, мячи, тактика менялись; «среднее за 10 лет» усредняет разные миры), смещение рынка (старые коэффициенты других букмекеров несопоставимы с текущими), смещение подтверждения в ручной разметке.
Приём защиты — вопрос «какие наблюдения могли не попасть в таблицу и почему?» задаётся до обучения. Для коэффициентов: одинаково ли источник покрывает все лиги? Для результатов: нет ли умолчания снявшихся соревнований? Для стратегий: какова выборка до того, как она «заработала» у публикатора?
Диагностический инструмент — срезовые таблицы: метрика считается отдельно по лигам, сезонам, диапазонам цен, и различия срезов проверяются на предмет того, не объясняются ли они составом данных, а не сигналом. «Сигнал», живущий в одном срезе состава без содержательной причины, — почти всегда артефакт смещения.
Кейс: красивый рост, которого не было
Датасет «эффективности аутсайдеров» показывал рост ROI 10 лет подряд. Разбор: ранние сезоны покрывались источником только по топ-лигам (добавлены позже), а в новых — выживала вся экзотика. Рост ROI целиком объяснялся сменой состава лиг в выборке: внутри любой фиксированной лиги тренда не было. Вторая итерация смотрела фиксированные лиги; эффект исчез. Такого рода вывод спасает годы: смещённая история может пережить десяток «улучшений» модели, каждое из которых чуть лучше подгоняется под артефакт.
ТИПИЧНЫЕ ОШИБКИ
✗ Считать, что объём данных нейтрализует смещение — bias масштабируется вместе с n.
✗ Не спрашивать, чего в данных нет: отсутствующие строки так же информативны, как присутствующие.
✗ Строить выводы на скользящем составе лиг и эпох без срезового контроля.
ЗАДАНИЕ
Проведите «аудит отсутствующего» в вашем основном датасете: пересечение с независимым календарём соревнований, доля отсутствующих матчей по лигам и сезонам, срез ключевой метрики по диапазонам цен. Оформите findings в dataset-card — какие смещения признаны, какие исключены, какие остаются под подозрением.
Вопросы для самопроверки
1. Почему увеличение выборки не лечит смещение?
2. Назовите четыре типовых источника bias в спортивных данных.
3. Что показывают срезовые таблицы и как они вытаскивают артефакты состава?
Pulsuz fraqment bitdi.
