The Times They Are a-Changin’

Написал по нескольким причинам.
Во первых, у меня закончились идеи относительно того как считать гто для нл ха и 6 макса. Шаманский подход от Джуанды мне не нравится, а строгий математический упирается в вычислительную стену. Возможно, возникнут какие-то варианты на стыке, но повторюсь у меня закончились идеи на этот счет, поэтому ожидаю от вас, уважаемые игроки, фидбэка и предложений. Во вторых, большую часть своих знаний я получил от других людей, поэтому вполне разумно поделиться в ответ, тем, чем я готов поделиться без ущерба для себя.

В третьих, на просторах интернета бродит масса страшилок по поводу покерных ботов. Часть из них, по крайне мере там, где я себя считаю специалистом, мне бы хотелось развеять.

Теперь перейду к теме машинного гто для 6 макса. Для игр больше 2х человек нет алгоритмов нахождения навновесия, но можно найти эпсилон не доминированную стратегию. Что касается технической стороны вопроса. Если мы строим дерево событий так же как делали в хэдзапе, то возникает еще больше проблем. К примеру распределение посещаемости различных веток в 6 макса. Нод где утг открывается, посещается со 100% вероятностью, в том же время, какой-нибудь нод по риверу в мультипоте на 6 человек может возникнуть один раз из миллиарда итераций. Допустим мы делаем упрощенную модель с одним сайзингом и стеками в 100бб у всех игроков. В нашем дереве решений получается примерно 10к нодов. При этом где-то 400 нодов будут обходиться, как наиболее часто встречающиеся процентах в 80 случаев, а все остальное крайне редко. Такие вот технические сложности, чтобы их хотя бы частично преодолеть, приходится жертвовать точностью решения в редких ситуациях и сильно их абстрагировать, то есть запихивать наши неабстрагированные руки во всем меньшее и меньшее количество коробочек в зависимости от степени посещаемости нода. Если сильно заморочиться, то можно все это собрать и поставить считаться. Расчет будет долгий, например, в текущей версия которая считается у меня уже пол года более менее сошелся только префлоп и флоп для часто возникающих ситуаций, что же касается мультипотов, то там все далеко от совершенства. Резюме.
Можно ли создать гто бота для 6 макса. Однозначный ответ - нет. Можно получить какие-то интересные расчеты по ранним улицам, но не более. То же самое и для хэдзапа, но с чуть менее строгими условиями.

Uran, классные посты, очень интересно почитать.
что думаешь о гто ботах в капах или в снг, где как раз префлоп и флоп только играются?

В ха капы можно, но основная проблема скорее всего будет связана с тем, чтобы побить рэйк. В снг в ха, можно, но для этого придется сделать множество деревьев с разными начальными стеками. В снг можно расчить пуш-фолд в реальном времени, в целом довольно быстро сходится, но если мы попробуем какой-то постфлоп еще включать, то уже не реально.

Uran вся эта теория с вычислениями , полезна если только есть желание создать бота ?

спросил бы честно, "я реально должен прочитать этот абзац пиздеца что бы играть в плюс?"

При чем здесь страшилки про гто ботов, если на пс и ипокере банили десятки ботов уничтожавших 400-1к с диким винрейтом?

nwDanon @ 4.1.2015
При чем здесь страшилки про гто ботов, если на пс и ипокере банили десятки ботов уничтожавших 400-1к с диким винрейтом?

Uran @ 4.1.2015
Можно ли создать гто бота для 6 макса. Однозначный ответ - нет.

Я не понимаю, зачем усложнять задачу "плюсовать" ГТО ботом?
Существуют боты, которые взаимодействуют с базой ХМ, которая в свою очередь взаимодействует с ХХбайс. На 6 столах точно этот бот может вычислять ликовые отклонения в статах и уничтожать оппов на лимитах до нл 100. P.S. речь как раз о 6 макс.

Выскажу свое мнение о ботах. И принципиально не важно какие это боты: на статах, считающие бест респонс или гто боты. Все они крайне уязвимы в редких ситуациях где было большое крличество ставок до. Особенно это касается игры на терне и ривере, где любая сколь точная модель на игрока будет уплывать. А уж боты на статах хма, это чтото из области фантастики. То есть я не отрицаю что можно сделать подсказчика, анализирующего статы и находящего лики, но автономную программу. Не это слишком нереалистично.

А зачем искать эксплойты/идеальную игру в редких спотах, имея возможность с помощью хма и знания математики найти пару хороших плюс ЕВ ликов и стабильно давить на них, имея профит? Уязвимость будет компенсироваться "базовыми" эксплойтами. 80/20 в деле

Как-то Forhaley при ответе на вопрос (дословно не помню) : "A какие линии ты защищаешь будучи ПФР ооп (сбет, ч/р , ч/к) " ответил что при защите сложно использовать все линии и в розыгрыше у него преобладают : сбет и ч/к, в причинах назвал увеличение дерева принятия решения при добавлении линий защиты. Где-то еще видел (тоже на GT), ответ рега, что розыгрыш руки для него является чем-то похожим на решение задачки по физике.
Что-то подсказывает мне, что топ реги владеют информации об упрощенной модели принятия решений, по типа той, о которой ведет речь Uran. Я конечно не исключаю огромного объема работы с их стороны, итог этой работы мы видим в обзоре high stakes на GT ;)

Какие-то мысли у меня появлялись на этот счёт , но без большого объема работы и наигрыша, вероятность решения задачки стремится к 0 :/

Пацаны, вариант купить бота? а то я заебался играть

flint1005 @ 3.1.2015
Пушер, а за что ты Урану -100 в рейтинг влепил, да еще с такими формулировками?

Влепил, потому что считал нужным. И больше поддеть Дениса старался, разумеется.

Вообще у людей сформировалось достаточно позитивное мнение о нём и мне просто-таки было необходимо добавить немножко говнеца в такую светлую и непорочную репутацию человека, на которого достаточно многие тут дрочат и чуть ли не в ранг идола возводят.

Я сам достаточно долгое время читал его посты еще на цгме и думал, что вау, наверное, тот кто всё это пишет вообще не тильтует, суперздраво и супертрезво относится ко всему. Но так получилось, что одно время мы жили вместе и все эти иллюзии развеивались одна за другой. Достаточно забавно на самом деле. Забавно видеть, что человек совершенно не соответствует тому о чём пишет. Ты смотришь как он тильтует. Также как и все. Как лудоманит по 20 столов, играя заведомо минусовые игры и в неоптимальном состоянии. Как холдем менеджер чекает каждые две минуты и хочет отбиться. И всё, что ты до этого читал об игровом подходе, о философии кажется настолько нелепым, когда ты видишь всё своими глазами как оно есть на самом деле.

Вы просто не представляете насколько тяжело одному выйти из этого адского круга лудомании, сжигающей дотла, когда в отчаянии пытаешься найти помощи у человека, который вроде как "шарит". А вместо помощи, на тебя просто смотрят как ты играешь в пуш фолды, вкатывая по 5000$ за один оллин и ничего не делают чтобы реально помочь.

Когда в один из роковых своих дней я умудрился за пару часов игры вкатать то-ли 60 то-ли 70 штук в блекджек за пару часов, то получил совет "Тебе бы на недельку пойти овец попасти"(я не утрирую и не передёргиваю, реально такой совет), а также фразочку о том, что я как-то хуёво его слушал и вообще переведи-ка мне свою часть профита за бекинг как мы договаривались. Вот тут-то и врубаешься что вообще происходило всё это время и как оно всё на самом деле обстояло и что под красивыми историями о "помощи всем живым существам" лежат исключительно собственные корыстные мотивы и никакой искренности за ними и близко нет. Лишь свои желания как-то подпитываться за счёт всеобщего обожания и натягивания на себя роли учителя как какой-то компенсации собственной никчемности и душевной убогости что-ли.

Но при всей этой говнистости стоит отметить, что Денис чрезвычайно умный, а главное хитрый человек. Он над покерным ботом,ребята, ведь не первый год уже работает, а начал выдавать дозированно только ту информацию, которой владеет, только сейчас. И строит предложения-то главное как хитро. Про поделиться информацией в ответ и т.п., это всё красивые словечки, которые он вставляет, чтобы отвлечь от сути. Да так, что еще и одобрение получает! Если бы я сам создал тему, в которой бы раскрыл детали того, чем всё это время Уран и компашка занимались с каким-нибудь громким названием типа "Уран создаёт покерного бота", вы бы все тут присутствующие ему вмиг рейтинг в красный раскрасили.

На самом деле мотивация его одна - это сделать так, чтобы страшилки про покерных ботов превратились в пугающую реальность. И единственная цель по которой он всё это пишет - найти соратников себе в той работе по разработке алгоритмов, которую, я повторяюсь, он уже не первый год ведет с привлечением очень хороших программистов. Вас не пугает, что он так спокойно рассказывает про то как у него программка плохо сходится на ДЕВЯНОСТО ШЕСТИ ГИГАБАЙТНОЙ оперативке? Вам от этой мысли разве не.. жутко? Это топовое железо, ребята, а цель одна - нагнуть каждого из нас, обывателей и обычных игроков в покер, поставить раком и выебать. А потом рассказывать про духовные практики и достижения нирваны.

И в заключения я вам скажу то, что Уран бота еще в том году сделал для 6макса и тот ему успешно подсказывает что делать на каждой из улиц. НЛ100 зума этот бот бьёт. Предположу что такой суперплюсовый декабрь в этом году - прямое следствие его разработок.

Вам еще не страшно?

Подумайте и выдохните. Всё самое страшное впереди.

Uran @ 3.1.2015
Не буду отставать от современной моды и тоже напишу пост про ГТО. Расскажу о своем хобби - о машинном гто. Начну с рассмотрения алгоритма расчетов , который можно уже назвать классическим. Авторы данного алгоритма ученые из института Альберты. Если у кого-то есть время, желание, знание английского и математическое образование то велком http://poker.cs.ualberta.ca/publications/NIPS07-cfr.pdf
Алгоритм очень хорошо себя зарекомендовал в лимитных HU играх. Эксплоитабилити лучших расчетов для лимитного холдема очень низкое. Насколько я помню точно ниже 1бб/100. Эксплоитабилити это величина на которую можно обыграть данный фиксированный алгоритм (то есть он заранее расчитан и не подстраивается под действия оппонента) зная его полное дерево стратегий для всех типов досок и строя к этому дереву полную контр стратегию. Как считается модель на основе данного алгоритма. Для начала нам нужно определиться с количеством различных сайзингов. Для примера предположим, что мы моделируем безлимитный покер, но с фиксированным стеком и одним размером сайзинга (то есть мы делаем всегда только одного размера опен рэйз например 2.5бб далее 3 бет 9бб и тд) Сначала строится дерево действий на основе этих сайзингов - всевозможные действия игроков которые могут быть уложены в 100бб стек. Для хэдзапа с фиксированным одним бетом получится дерево решений что-то около 500 нодов (точек развлетвления стратегии). Далее в каждом ноде у нас возможны действия ведущие в другой нод - рэйз, колл, чек и фолд ведущий к терминальному состоянию. Далее для каждого нода у нас есть набор рук. Рука для машины это немного не то что для человека. Машинная рука точка во всем пространстве покерных состояний, включает карманные карты игрока и доску (при этом без учета порядка прихода карт на доску). На флопе у нас примерно 1.5миллиона различных не абстрагированных рук, на терне и ривере это величины еще больше, но если умело группировать все еще не абстрагированные руки по терну и риверу то можно обойтись 7 миллионами рук. И для каждой руки каждого нода у нас есть параметр, отвечающий за стратегию, частоту игры данной руки и данного действия. Параметр назвается сожаление, а весь алгоритм cfrm - алгоритм минимизации сожаления. Как это работает. Допустим мы знаем начальное состояние всего дерева и в нем все сожаления для всех ситуаций во всех нодах в начале одинаковые, то есть нам без разницы как к примеру играть на префлопе АА. для начала мы их играем 50 на 50 между фолдом и рэйзом. Со временем сожаление от фолда будет возрастать, а сожаление от рэйза будет уменьшаться, что приведет к тому, что в дереве решений мы практически со 100% вероятность не будем фолдить тузов и будем с ними делать опен рэйз. с префлопом в общем-то проблем нет, там все довольно быстро сходится так как для каждого префлоп нода у нас всего 169 рук и стратегий для них. когда мы доходим до терминального нода, завершающего нашу игру (то есть до вскрытия или до фолда), то, то сколько денег мы выиграли или проиграли за данную иттерацию мы переводим в сожаление и последовательно меняем для всех нодов, лежащих выше в дереве. Допустим мы дошли до ривера и там был фолд. Для всех последовательностей действий-нодов, сначала на ривере, терне, флопе и далее на префлопе мы изменяем сожаление для данной руки и стратегии. так как нодов у нас много, а рук в каждом ноде дохера, то процесс оптимизации стратегии, чтобы насытить все редкие ноды и руки в них (например двойной чек-рэйз по флопу и терну это очень редкий нод) занимает триллионы итераций. при этом даже после такого огромного количества сыграных раздач (которое зачастую превосходит количество сыгранных раздач людьми), мы получим что основные ноды и руки в них будут довольно хорошо расчитаны, а вот более редкие ноды плохо. При этом есть физические ограничения на скорость расчетов и быстрее чем 9 триллионов раздач в месяц скорее всего в ближайшее время считать не получится. ну то есть возможно потолок повысится, но скорее всего не намного. Упирается все в скорость памяти и контроллера. Буржуи как-то умудряются распараллеливать алгоритм на суперкомпьютерах, но засчастую это ведет к ухудшению сходимости. Горшочек или дудочка.
Можно пойти через путь обобщения различных рук. К примеру мы говорим что на флопе в ноде где мы префлоп рэйзер и оппонент чекнул мы можем сгруппировать 1.5 миллиона рук для этого нода к примеру в 100 коробочек. Допустим у нас есть некоторый математический оракул, который знает что руку (АА) АК8 и рука (А8) ААК примерно одна и та же рука (хотя в реальности мы конечно выберем АА вместо А8 пусть и там и там у нас трипс) и уже редактировать стратегию не для всех рук данного нода а для только для коробочки, полагая что все руки мы будем играть одинаково. И тут мы встаем на скользкую тропу. Дело в том, что теория говорит нам о том, что равновесия в игре с не полной информацией для двух человек может быть гарантированно найдено лишь при ряде условий. в частности мы не должны абстрагировать руки в коробочки и при этом мы должны помнить для каждого нода из какой коробочки другого нода мы пришли (perfect recall). Так уж получилось что на пефект рекол все давно уже забили, потому что это просто нереально, а вот попытки считать не абстрагированное равновесие или слабо абстрагированное равновесия год от года предпринимаются. Каждый год, летом, проходит чемпионат среди покерных программ в лимитный и безлимитный холдем при стеках 200бб. как правило, победителем последних лет становились участники, использующие гто стратегии на основе cfrma. И как правило это были ребята и института Альберты с их алгоритмом Гипербореан. Насколько же хорошо они играют ? Для начала скажу, что тот же Гипербореан, считался с 10 сайзингами ставок для каждой улицы и 3мя рэйзами. Для 200бб стеков это просто дохрена нодов. При этом для участников есть немаловажное ограничение - размер алгоритма-программы в распакованном виде не должен превышать 120 гигабайт. Для сравнения, минимальный размер не абстрагированного нода по риверу 800 мегабайт, а учитывая что 90 процентов всех нодов - это ноды по риверу, получается печальная ситуация. На что может расчитывать игрок уровня нл10 против гипербореана в хэдзапе. Да он его порвет этого гиперборбореана минимум в 20бб/100. Но что если мы расчитаем не абстрагированный хэдзап только с одним сайзингом ? Всего один сайзинг, 500 нодов, но даже для этого нам потребовался сервер на 96 гигабайт оперативки и 3 месяца расчетов, при этом часть редких нодов все равно пришлось абстрагировать и руки в них запихивать в коробочки по 100к ячеек. Далее полученное дерево прикрутили к покер академии и начали играть в лимитированный безлимитный покер. По началу у меня и моих друзей не получалось обыграть алгоритм, потом я отдал его для тестирования игроку, который очень плохо играл в покер и он просто разорвал прогу. Начал разбирать как это у него получилось и оказалось, что все что делал этот слабый игрок - это бет или рэйз на любой улице. в результате программа попадала в далекие, слабо просчитанные ноды и почему то фолдила слегка чаще чем это было оптимально. Но при этом в ситуациях где было малое количество ставок, программа показывала все еще отличные результаты против игроков. To be continued

как я это вижу:

neggativ @ 4.1.2015
Горшочек или дудочка.

А я после этих слов подумал, что в Черногории очень хорошая трава ))) И почему 169?

Тысячный пост - спецом готовил?)

PusheeR @ 4.1.2015
Он над покерным ботом,ребята, ведь не первый год уже работает

PusheeR @ 4.1.2015
Если бы я сам создал тему, в которой бы раскрыл детали того, чем всё это время Уран и компашка занимались с каким-нибудь громким названием типа "Уран создаёт покерного бота", вы бы все тут присутствующие ему вмиг рейтинг в красный раскрасили.

И чего же ты ждал? Имел что-то с этой темы или дела с Ураном, а сейчас пути разошлись? Кто соучастники?