Data Adventures

SnowBeaver @ 19.12.23 

но при этом будет делать нормальный removal

Добавлю и свои 5 копеек про cardremoval. Когда вышел конкретный флоп/терн/ривер. Мы должны заново пересчитывать cardremoval с префлопа, веди и у нас и у оппонента поменяются веса карт. А у нас появилась новая инфа каких карт у сфолдивших оппов в принципе не было)

ExeRco @ 19.12.23 

И ещё хотел спросить ты делал тулзы по ремувалам для выпадаемых флопов?

Ну это можно и в excel сделать. Берем веса оставшихся карт (из того же hrc). Проходимся по всем бордам и перемножаем вероятность каждой карты. 

Только вот где это использовать? Для расчета диапов на префлопе,  это уже и так учитываются в hrc, а стратегии постфлопа важен только борд который сейчас перед нами.

SnowBeaver @ 19.12.23 

ExeRco, а в HRC вообще можно задавать свои веса для сабсета постфлопа?

Нет, но они учитывают изменение веса борда из за cardremoval. Проверить легко , посмотрите эквити 22 vs AK оллин префлоп sb vs bb на 6 макс столе.

Valmiki @ 19.12.23 

Ответ зависит от того, что ты подразумеваешь под ГТО. Как я понял из твоего поста, для тебя ГТО - это в том числе максимально эксплуатирующая игра с конкретной рукой с учётом определённых факторов. С этим я не согласен. Но если следовать твоему пониманию, то мы не играем по ГТО, потому что решения из таблицы не учитывают фактор удаления карт, который ты обозначил.

Нет, я всё ещё не учёл каких-либо тенденций оппонентов в любой форме. Мы всё ещё рассуждаем о равновесии в этом пункте.  Никакой экплуатации нет. Наш оппонент играет "по GTO", а мы получается докинув базовой инфы о нашем стартере можем его обыгрывать чтоли? Тогда получится, что чел не играет по GTO и равновесной стратегии не достиг.

Valmiki @ 19.12.23 

Некоторые из 1326 стратегий могут выиграть, некоторые наоборот проиграть. Остаётся вопрос - как объединить всё это несметное количество сценариев и отобразить это в виде одной удобоваримой единой и непротиворечивой стратегии.

Да надо просто использовать MCCFR по той же схеме, как его HRC использует для префлопа. Нужно симулировать раздачу карт и все мои ухищрения выйдут как-бы автоматом и не будут требовать усилий. 

Valmiki @ 19.12.23 

 Современные солверы хоть и не достигают идеала, но решают очень близко к нему. Настолько близко, что нам не стоит беспокоиться, что кто-то из живых людей способен эти погрешности эксплуатировать. Я не понимаю, где тут пространство для технического улучшения софта? Что принципиально нового даст этот улучшенный солвер, чего не дают уже имеющиеся

 То, что об этом расстоянии не стоит беспокоиться это просто недоказанная гипотеза. Может в каких-то случаях и стоит. Когда-то например все пользовались pokerStove и не беспокоились, что там нельзя веса карт задать. Типа рука либо есть либо нет в диапазоне. Я бы скорее поставил, что оно будет очень значимо например в омахе, где у нас на руках 4 блокера на ранауты и можно очень различающиеся стратегии получить таким образом.

Говорим про card removal, но нет ни одной программы которая его корректно считает и возвращает результат)

Вот на примере ситуации когда мы на utg дали рейз, все до bb fold, bb колл, и вышел флоп.

Единственный вариант это подсчитать это сотни миллионов итераций если не миллиарды. 

Вычитаем из 52 карт, карты флопа.

И когда происходит ситуация, что карты UTG попали в диап рейза, карты HJ, CO, BU, SB попали в диап фолда, и карты BB попали в диап колла.

Мы фиксируем какие карты остались, какие карты у UTG и у BB.

И в итоге мы получим корректные диапы UTG(очевидно что веса AKo и 88 не равны) и диап BB

И так мы должны проделать для каждого флопа. Для стратегии на флопе.

Но и этого не достаточно. Ведь на каждом терне, веса риверов будут отличаться) И в jesolvere мы не можем задать, что если выйдет терн x, то веса риверов "такие". А если терн y, то веса риверов "другие"

Есть ещё альтернативный ход конем - поменять сами правила игры. https://www.pokerking.com/software-game-features/acr-reshuffle/

Каждая сброшенная карта попадает обратно в колоду. Забываем про банчинг. Игра как в солвере

SnowBeaver, так префлоп спектрам все равно веса можно и нужно будет дать)

SnowBeaver @ 20.12.23 

Нет, я всё ещё не учёл каких-либо тенденций оппонентов в любой форме. Мы всё ещё рассуждаем о равновесии в этом пункте.  Никакой экплуатации нет. Наш оппонент играет "по GTO", а мы получается докинув базовой инфы о нашем стартере можем его обыгрывать чтоли? Тогда получится, что чел не играет по GTO и равновесной стратегии не достиг.

А я и не писал, что можно обыграть чела играющего по ГТО. У меня написано про максимальную эксплуатацию с конкретной рукой. Максимальная эксплуатация в целом же не противоречит равновесной игре, она является её неотъемлемым свойством. О ГТО можно рассуждать только в ключе взаимодействия стратегий как минимум двух игроков. В равновесии оба должны максимально эксплуатировать друг друга. При этом никто не может отклонится, не потеряв в ожидании. Стратегию отдельного игрока можно назвать ГТО, если она входит в эту пару (или больше) стратегий. В этом смысле полезно задавать вопрос: обладает ли стратегия максимальным EV против идеального, всевидящего оппонента - если да, то её можно считать оптимальной. Но вообще, мой тейк был про то, что когда ты начинаешь проводить рассчёты для отдельных рук - то это уже не ГТО для изначально заданных условий. То есть ты для одного из игроков спускаешься с уровня общей стратегии на уровень игры отдельным стартером, при этом другого игрока оставляешь в парадигме полноценной стратегии. Ты же понимаешь, что это будет просто-напросто другая игра? Ну, ты найдёшь равновесие для неё. При этом рука первого игрока будет максимально эксплуатировать стратегию второго игрока, потому что это свойство равновесных игр. Потом ты найдёшь равновесие для оставшихся 1325 новых игр. После чего ты суммируешь эти 1326 отдельных стратегий 1-го игрока и представишь в виде одной цельной? Правильно я понимаю? Если так, то тут несколько проблем. Стратегия 2-го игрока с каждым расчётом тоже будет меняться (напоминаю, что мы можем рассуждать о ГТО только в контексте пары стратегий). Мы это не учитываем и оставляем за скобками? К тому же Франкенштейн собранный таким образом для 1-го игрока обязательно потеряет в ожидании, причём значительно, если его запустить против изначальной стратегии 2-го. Причина банальная - большая часть слабых рук, просчитанных по отдельности, ничего не смогут противопоставить широкому сбалансированному диапазону рук второго игрока, в равновесной игре они будут просто вынуждены фолдить. В отличие от привычных расчётов диапазон против диапазона, когда эти слабые руки являются частью более сильного спектра, - в таких случаях у них имеются опции более прибыльного розыгрыша...

В общем, если коротко, с чем я не согласен:

1. Что ГТО и равновесие по Нэшу чем-то отличаются.

2. Что описанный тобой (как я его понял) способ расчёта, учитывающий эффект удаления карт, может быть реализуем в контексте нахождения пары равновесных солверных стратегий.

3. Что в целом расчёты влияния подобных эффектов могут быть практичны или дать что-то принципиально новое... Пока за этим видится ничем особо не подкреплённое стремление просчитать всё до третьего десятичного знака, просто потому что это, возможно, что-то даст. Более актуальные задачи, сейчас, в моём понимании, лежат, скорее, в практичной и полезной группировке уже имеющихся инструментов и фич, которых сейчас много всяких, но реализация обычно хромает. В этом направлении, кажется, более перспективно копать.

BadSeed @ 19.12.23 

И 4-й вопрос: какое EV даст нам изменение стратегии с учётом кард ремувала? Будет ли оно выше, чем, скажем, выбор стратегии с двумя сайзингами флопа вместо одного?

Ев может быть и выше, самый важный вопрос будет ли изменяться стратегия? Стоит ли овчинка выделки...

fullblufer @ 20.12.23 

Единственный вариант это подсчитать это сотни миллионов итераций если не миллиарды. 

Это заблуждение, считается это напрямую за 5 сек, получаются веса карт дошедшие до текущего хода, префлоп, постфлоп дерево большое надо без упрощений, тогда посчитается корректно

Ps и лично мое мнение все расчеты упираются в объем памяти серверов и количестве сотен ядер... А все остальное хождение вокруг да около и лирика, которая почему то нравится SnowBeaver'у

SnowBeaver @ 19.12.23 

 

 

А если ответы "Нет", "Нет", "Да", то вы как и я ждёте первого солвера, который наконец нормально позволит строить той же сложности деревья, что и пио с манкером на постфлопе, но при этом будет делать нормальный removal. Я надеюсь HRC доберутся до этой задачи, они уже как минимум начали.

 

Все ждут нейросеть которая начнет объяснять человеческим языком ГТО стратегии и какие подстройки делать ... 

Оттого что компуктер абсолютно точно посчитает с каким весом на каком то определенном ривере надо блефовать 1 комбу погода в покере не изменится

Накидал как мог на вентилятор , крутите)

Пс а то что в покере влияет все на ев и так понятно: и кард ремув и то сколько выпил алкоголя оппонент и какая у него жизненная ситуация , насколько глубокий у него банкролл, какой опыт игры, какое образование, какая оценка по математике в школе и ТД ... Вопрос только в дельте ошибки если это не учесть

c00l0ne, Расскажи пожалуйста как это считается) Нет такой программы которая корректно это считает не методом перебора. И зачем нам постфлоп дерево, если мы говорим про cardremoval?

Valmiki @ 20.12.23 

В общем, если коротко, с чем я не согласен:

 

1. Что ГТО и равновесие по Нэшу чем-то отличаются.

Тут вобщем-то и не нужно соглашаться или не соглашаться. Нет предмета спора. т.к. это разница в выбранных для рассуждения терминах, а не в описываемой реальности. Покерное сообщество немного кастрировало терминологию теории игр. И теперь мы скорее имеем свой сленг, чем математические термины. И чтобы быть понятным, приходится оперировать именно ими. Я поэтому специально и указал, что не настаиваю, просто мне вот для описания моих рассуждений более удобна исходная развёрнутая терминология.

https://gipsyteam.poker/news/29-03-2023/gto-dlya-chaynikov-vlastelin-mikrolimitov-delitsya-mudrostyu/cpage/2#comment269711

вот тут была статья от вполне успешного игрока, у которого по моим ощущениям есть как раз какой-то бэкграунд из базовой математики. Ну или он просто замороченный. И он справедливо уточняет что у терминов равновесия по нэшу и гто разные объекты, которые описывают эти термины. равновесие описывает игру с несколькими игроками, а GTO это стратегия конкретного игрока, т.е. описывает одного игрока. Если скажем почитать что-то про применение идей неша в экономике, то там как раз теоретически оптимальные модели описывают игру, которая учла весь объём информации на момент принятия решений.

Но конечно большинство людей не способно настолько критически рассуждать :) и у обычного игрока будет реакция "сжечь ведьму". Или "да он солвер ни разу не открывал". У меня на старте дневника тоже прилетали такие упрёки, что "я ничего не понимаю" и лучше бы VOD посмотрел. По факту же я понимаю и так и так когда мне надо :)

Valmiki @ 20.12.23 

Пока за этим видится ничем особо не подкреплённое стремление просчитать всё до третьего десятичного знака, просто потому что это, возможно

Да собственно это вполне разумный взгляд на вещи, с которым хер поспоришь :) Подкрепление у меня происходит исключительно внутри моей черепной коробки на основе интуиции. Типа я поднял ev одной руки на 13-15% заблокировав базовую посчитанную солвером у оппонента и пытаясь учесть свои карты. Я даже на 10% не уверен, что игра будет стоить свеч на всём диапазоне. Иначе бы уже давно нашёл время и заказчика под подобные упражнения.

Но опять же. вся моя мотивация как-то лезть в данные дебри возникла в омахе. В холдеме возможно никак не удастся на этом навариться. И различаться стратегии будут незначительно. Ну типа было бет-чек 60-40, станет 40-60, стоило ли так парится если мы продолжим играть также :)

c00l0ne @ 20.12.23 

Ев может быть и выше, самый важный вопрос будет ли изменяться стратегия? Стоит ли овчинка выделки...

готов поставить 100 баксов, что в холдеме оно будет не нужно :) и столько же, что в омахе оно может дать навар.

fullblufer @ 20.12.23 

c00l0ne, Расскажи пожалуйста как это считается) Нет такой программы которая корректно это считает не методом перебора. И зачем нам постфлоп дерево, если мы говорим про cardremoval?

напрямую , это значит мы обсчитываем по формулам каждый вариант, перебирая все и составляем итоговую картину ... 

метод перебора , это какой то термин не правильный ... 

ты наверное говоришь про симуляцию и приближенные вычисления ... 

это да самый простой способ пожечь энергию и прогреть CPU :D но вполне рабочий...

SnowBeaver @ 20.12.23 

готов поставить 100 баксов, что в холдеме оно будет не нужно :) и столько же, что в омахе оно может дать навар.

ну ты меня заинтересовал этим ...

c00l0ne @ 20.12.23 

А все остальное хождение вокруг да около и лирика, которая почему то нравится SnowBeaver'у

я называю это поиском идей :) по факту, я иногда генерю результаты для людей, которые по внешним признакам похожи на магию если не пытаться пройти по шагам, которыми я к этим идеям пришёл. Т.е. если я выдаю что-то со своего кухонного стола, то могу услышать - "бля, да ты ебанутый". а если что-то дошло до релиза и работает, то "он гений, мы не знаем как он до этого допёр". И так снова и снова... я уже привык ))) но конечно процентов 80 идей это обрезки, которые пойдут в урну.

SnowBeaver, я про то что ты говоришь про расчеты с кардремувом ... я так понимаю дерево вырастет от этого только ?)

и вырастет оно в несколько х раз ?) правильно ?)

для этого надо в х раз ресурсов больше потратить для расчетов ?) 

а с учетом того что пио солвер в 100 бб считает 1 чертову раздачу с флопа минут 5 -10 до нормальной точности... 

я думаю разговаривать о кардремувах в текущем веке рановато ...

c00l0ne @ 20.12.23 

Все ждут нейросеть которая начнет объяснять человеческим языком ГТО стратегии и какие подстройки делать ... 

Оттого что компуктер абсолютно точно посчитает с каким весом на каком то определенном ривере надо блефовать 1 комбу погода в покере не изменится

я пока думаю, что практический максимум это построение деревьев решений как я делал это ранее в блоге. Нейросеть не может выдать что-то, чему её не учили на обучающей выборке. Т.е. если ты скажем не знаешь как объяснять ГТО, то нейросеть ты это делать не научишь. Оно типа работает иначе. Скажем ты знаешь как объяснять в стеке 50, 100, 200, а нейросеть тебе может построить интерполяцию для 75, 150. Или скажем ты обучил нейросеть контбету на каком-то сабсете флопов, а она не говёно даёт ответы на всех остальных флопах тоже, т.к. уловила закономерности. Не стоит ждать от нейросетей чего-то большего, чем можно описать ёмким термином "губка для данных".

c00l0ne @ 20.12.23 

SnowBeaver, я про то что ты говоришь про расчеты с кардремувом ... я так понимаю дерево вырастет от этого только ?)

да не, ничего не вырастет. почитай как работает Monte Carlo CFR по сравнению с другими модификациями CFR. По сути этот метод проще, а не сложнее. Дерево остаётся всё тоже, но возрастает время вычислений до той же точности. опять же зависит от реализации, прямоты рук программистов, сколько времени затрачено, какие абстракции выбраны и выбраны ли... но в целом никто не мешает уже сегодня написать солвер, который будет постфлоп считать с этим эффектом. По сути парни из HRC решили более сложную задачу считая так префлоп. Т.е. в теории всё уже есть. Я б конечно хотел чтобы оно докатилось до омахи... но тут чё-то глухо пока. Я так понимаю по экономическим причинам. Просто сложно продать разработку ещё одного солвера в омахе.

если классический CFR работает итерациями, то MCCFR можно тормознуть в любой момент, если текущий результат нас уже устраивает. Можно видеть например, что пио когда работает, то выдаёт данные не непрерывно, а как бы скачками. И не получится получить решение посередине итерации. т.е. процесс как-бы дискретный, а в рандомизированном MCCFR он как-бы непрерывный. Я конечно слегка упрощаю, но примерно так :)