О дистанции, ROI и винрейтах.

У меня в блоге некоторые комментаторы писали, что, дескать, 500игр еще не та дистанция, по которой можно делать выводы о ROI и плюсовости игрока. Интуитивно я с ними сразу же не согласился, потому что каждому человеку, который работал со статистическими данными, известно, что 500 наблюдений всегда достаточно для довольно точной оценки единственного параметра. А параметр у нас здесь и в самом деле один - винрейт, процент выигранных игр.

У меня нет задачи строить большую полную таблицу для различных количеств игр и различных ROI, где проверялись бы гипотезы о том, что A: игрок плюсовый, или В: игрок имеет ROI: 5%+, или C: игрок имеет ROI 10%+ и т.д., но кое-какие вычисления я сделал. Каждый для себя может для себя адаптировать вычисления по простой схеме. Для этого нужно знать 3 базовые вещи:

1. Распределение, когда результатом наблюдения является успех-неудача (выигрыш-проигрыш), называется биномиальным. где p - вероятность успеха, а q = 1 - p, вероятность неудачи. При этом нужно потребовать независимость наблюдений. Да, в случае покера с его "тильтом" и "пёром" это не совсем так, но все же зависимостью результатов игр друг от друга вполне можно пренебречь.

2. Известно, что стандартное отклонение при n наблюдениях для биномиально распределенной случайной величины равно sqrt(npq)

3. Известно, что при npq > 25 и 0.1 < p < 0.9 биномиальное распределение сходится к стандартному нормальному. У нас это выполнено с огромным запасом, благодаря ГСЧ, который никогда не дает винрейтов больше 90%, и большому числу игр.

Просто воспользуемся следующей формулой (она вытекает из теоремы Муавра-Лапласа, но это неважно ):

Здесь m - это реальное число наших побед-успехов, p - тестируемый, "предполагаемый" или граничный винрейт, Ф(*) - функция стандартного нормального распределения.

Раз уж в недостаточной дистанции уличали меня, то для начала посчитаю результаты для своей ХА-истории. 500 игр, винрейт 64%, что при рейке в 5% соответствует ROI = 21.90%. Я хочу проверить гипотезу о том, что мой винрейт больше p = 60.5%, что соответствует ROI >= 15.24%.

m = 64%*500 = 320
n = 500
p = 0.605
q = 0.395

Дробь получается равной 1.6468. Известно, что величина, подчиняющаяся стандартному нормальному распределению, принимает значение на отрезке от [-1.65 ; 1.65] в 90% случаев, то есть наш ROI с 95% вероятностью превосходит 15.24% и с 95% вероятностью не превышает 28.56%.

Итого для 500 игр 90%-ный доверительный интервал по ROI заключается в промежутке [15.24% ; 28.56%], а, соответственно, 90%-ный доверительный интервал по винрейтам [60.5% ; 67.5%]

Покажем, что, на самом деле, диапазон рабочего ROI сам по себе здесь не так важен и на размер 95%-ного доверительного интервала для конкретного n не влияет и размер этот для n=500 примерно равен 7%.


Задача:
За 500 игр у игрока винрейт 57%, что соответствует ROI = 8.57% Является ли этот игрок плюсовым с вероятностью 95%?

Решение:
Подставим в формулу известные значения
m = 57% * 500 = 285
p = 0.525 (именно этот винрейт 52.5% может вывести игрока в ноль из-за рейка)
n = 500

Итого дробь равна: 2.035, что еще больше значения 1.65, то есть игрок плюсов примерно с вероятностью 98%. А его винрейт с 90% вероятностью не отличается от текущего больше, чем на [1.65*sqrt(npq)-0.5]/n = 3.58%, то есть лежит в промежутке [53.42% ; 60.58%]. Заметим, что и в первом примере это значение разброса от текущего винрейта тоже было почти таким же, 3.5%



Итак, если вы сыграли 500игр неважно с каким винрейтом, то вы можете заключить, что ваш реальный винрейт с 90% вероятностью не отличается от него больше чем на 3.5%.

Я посчитал подобные "константы" и для других дистанций:

Вот что получилось:

50 игр 10.5%
100 игр 7.65%
150 игр 6.3%
200 игр 5.5%
250 игр 5.0%
300 игр 4.5%
400 игр 3.95%
500 игр 3.6%
600 игр 3.25%
700 игр 3%
800 игр 2.82%
900 игр 2.66%
1000 игр 2.53%
1250 игр 2.26%
1500 игр 2.07%
2000 игр 1.80%
3000 игр 1.47%
4000 игр 1.28%
5000 игр 1.14%
10000 игр 0.81%

Итак, если вы сыграли 10000 супертурбо по 1000$ с винрейтом 54%, то с 90%-ной вероятностью ваш винрейт заключен в промежутке от 53.19% до 54.81%.

Естественно, для таких вещей как супертурбо нужны более длинные дистанции, так как нас там не очень устроит знание, что мы имеем винрейт 55% плюс-минус 3.5%. Аналогично и для слабоплюсовых игроков в регулярных HU 1% винрейта может отделять катку в плюс или в минус. В супертурбо желательно винрейт знать с точностью до 1-1.5%.

Если вас не устраивают 90%-ные вероятности, а нужны аж 98%-ные, то можете умножить эти проценты на 1.41 и получите диапазон, из которого не уходит ваш винрейт с 98%-ной вероятностью.

Также я посчитал кое-что про возможные даунстрики на тех или иных дистанциях (самая больная и животрепещущая тема для игрока :)). Если интересно - опубликую здесь.

Конечно интересно, публикуй. Думаю люди с математическими способностями ещё подтянутся и прокомментируют..

Цитата (uofert @ 22.11.2011)
Вот нашёл на одном из форумов

Пример выйгрыша МЕ WSOP.

1) Один выйгрыш 8.000.000$
2) 4 выйгрыша по 750.000$= 3.000.000$
3) 10 раз по 200.000$=2.000.000$
4) 20 раз по 75.000$=1.500.000%
5) 50 раз по 40.000$ = 2.000.000$
6) 140 раз по 25000$= 3.500.000$

Инетересно на сколько достоверной можно считать эту модель

Эта "модель" настолько же достоверна как и написание слова "выигрыш" через Й.

1. Чем выше рои, тем меньше дистанция на которой уже можно говорить о том, что ты бьешь лимит.
Т.е. если твой рои на 200 турниров равен 20%, то ты с очень большой вероятностью бьешь этот лимит.
В среднем оценивал бы на дистанции от 500 турниров желательно без ярко выраженных стриков.
2. Нормальный - любой плюсовый. Хороший для рега - 10% в регулярных и 6-7% в турбо.
3. 50би вполне должно хватать при вышеуказанном рои для регулярных. Для турбо брал бы чуть больше, 70-80би.

Обсуждали уже, вроде бы, здесь отклонения винрейта: https://forum.gipsyteam.ru/index.php?viewtopic=6025&st=0&p=168750&#entry168750

Да и доверительные интервалы для вероятности успеха в Бернуллевских испытаниях просто строятся, уже давал ссылку в предудущей теме, вот она: http://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval. Там только надо взять табличку квартилей нормального распределения - и вперед, считай, что угодно.

Вот про даунстрики интереснее, но там все зависит от того, как даунстрик определить :) иногда может нерешабельная задача получиться.

Цитата
если вы сыграли 500игр неважно с каким винрейтом, то вы можете заключить, что ваш реальный винрейт с 90% вероятностью не отличается от него больше чем на 3.5%.

Тут, конечно, стоит отметить, что человек не константа и постоянно развивается, что драматически влияет на винрейт )

Сорри, а где в формуле отражена глубина стеков и уровни блайндов? В смысле, супертурбо там или дипы, или обычные турбо.

Я хочу сказать, что можно отыграть 500 СТ с "рои" 20%, который конечно же и близко не будет к реальному.

Starik , спасибо за формулу, давно хотел найти, но лень...
Сделал табличку в Excel, но сюда загрузить ее не получается.
Здесь есть скрипт, который строит графики :
http://hh-log.blogspot.com/2010/12/blog-post_8918.html

В приложении мой эксельный калькулятор по обсуждаемой теме (эксельный файл не хочет вставлять пришлось в архиве).
Корректно считает уверенности в винрейтах как для ХА так и для любого одностолового турнира.
В желтые ячейки вводим данные, в зеленых смотрим результаты

confidence_calc.rar (16 килобайт) Кол-во скачиваний: 152

Цитата
Также я посчитал кое-что про возможные даунстрики на тех или иных дистанциях (самая больная и животрепещущая тема для игрока :)). Если интересно - опубликую здесь.

было бы здорово!

Цитата (Art_ru @ 29.1.2011)
У меня есть отрезки:
100 игр с 30% роя (по твоим расчетам реальный должен быть 30+-7.65%),
300 игр с 0% роя (по твоим расчетам реальный должен быть 0+-4.5%),
500 игр с 1% роя (по твоим расчетам реальный должен быть 1+-3.6%)
и куча других не попадающих в твой диапозон плюс-минус

но на огромной дистанции рой 13%, и это он реальный

Что на это скажешь математик? Что я всегда попадаю в 10% выборки?
Так я тебе приведу ещё с десяток отрезков, а вероятность 10 раз попасть в 10% сам знаешь какая.

Твои расчеты до 1к турниров не имеют ничего общего с действительностью.
Чтобы выяснить реальный рой нужно набить минимум 1к турниров, а если нужна точность то 5к штук.

Ты путаешь РОИ и винрейт. Эта таблица для колебаний винрейтов. Подробнее отвечу на вопрос в следующем посте, где расскажу про возможные даунстрики.

Цитата (AABC @ 29.1.2011)
Сорри, а где в формуле отражена глубина стеков и уровни блайндов? В смысле, супертурбо там или дипы, или обычные турбо.

Я хочу сказать, что можно отыграть 500 СТ с "рои" 20%, который конечно же и близко не будет к реальному.

Глубина стеков влияет на винрейт: чем менее глубокие стеки, тем меньшего преимущества можно добиться над оппонентом и, следовательно, меньший РОИ теоретически можно иметь. Если РОИ мал, то нам нужно знать его с большей точностью, чтобы гарантированно понимать играем мы в плюс или в минус.

Про стрики я напишу чуть позже. Да, можно отыграть какие-то 500 супертурбо с РОИ 20%, но если ты будешь случайным образом выбирать дистанции по 500 турниров из своей истории в 10000 турниров, то подобные стрики будут происходить с вероятностью не более, чем в несколько процентов.

Допустим, я отыграл свои первые 500 СТ и попал в такой стрик. Сколько еще нужно сыграть, чтобы узнать истинный винрейт?(+/- n%)

Цитата (AABC @ 29.1.2011)
Допустим, я отыграл свои первые 500 СТ и попал в такой стрик. Сколько еще нужно сыграть, чтобы узнать истинный винрейт?(+/- n%)

Пока твой винрейт определен с точностью до 3.5%*1.41 с 98% вероятностью. Все уже написано ранее. Отыграй 2000, будет все гораздо точнее.

хм... сыграл 200 турниров . Разница между еv ajusted roi и о бычным roi 11% .

Цитата (PacT9i7a @ 2.2.2011)
хм... сыграл 200 турниров . Разница между еv ajusted roi и о бычным roi 11% .

Ну учитесь же читать, я не про РОИ, а про ВИНРЕЙТЫ!
5.5% разница в винрейтах - это значительно больше, чем 11% разница в роях.
Не говоря уж о том, что ХМ иногда криво считает аджастид РОИ.

Интересный материал! Спасибо, плюсую

Цитата (Starik @ 2.2.2011)
Обсуждали уже, вроде бы, здесь отклонения винрейта: https://forum.gipsyteam.ru/index.php?viewtopic=6025&st=0&p=168750&#entry168750

Starik, спасибо, что напомнил - перенес тему в этот раздел.

sentpim, Starik, Очень круто. Спасибо.

Очень любопытные расчеты. Продолжай выкладывать. Интересно