Комментарии к колодцу Феруэлла

Сейчас на чемпионате по Доте команда OpenAI Илона Маска проводила матч против профессиональных игроков. Так вот докладываю: за год работы команды OpenAI, никаких мало мальских признаков интеллекта боты демонстрировать не стали, а весь прогресс сводится просто к тупому перебору вариантов из триллионов наигранных карт.

Так что нейросети всё ещё не работают, а человечество всё ещё в безопасности.

Цитата (Ai'r'r170 @ 24.8.2018)
Сейчас на чемпионате по Доте команда OpenAI Илона Маска проводила матч против профессиональных игроков. Так вот докладываю: за год работы команды OpenAI, никаких мало мальских признаков интеллекта боты демонстрировать не стали, а весь прогресс сводится просто к тупому перебору вариантов из триллионов наигранных карт.

Так что нейросети всё ещё не работают, а человечество всё ещё в безопасности.

Всё намешано в кучу. По сравнению с прошлым годом прогресс существенный. Он к тупому перебору вариантов не сводится. Нейросети работают, но человечество всё ещё в безопасности.

spaun, Только вот прогресс этот основан на наигрыше огромного количества игр, а не на развитии ИИ.

Обьясню на примере для тех, кто в Доте ничего не понимает. В игре есть такие вещи как варды. Они стоят определённой суммы, ограничены в количестве и устанавливаются на определённой точке карты, давая возможность видеть карту в определённом радиусе вокруг себя. При этом, они не стакаются между собой. То есть, если поставить в одной точке 3 варда, то радиус карты который ты будешь видеть не увеличится.

И вот боты сыграв миллиарды игр, как ставили по 5 вардов на одном месте, так и продолжают это делать. Никаких измений вообще нет. Хотя, казалось бы, догадаться не ставить второй вард в радиусе действия первого ИИ как нибудь мог.

Или вот ещё пример с вардами, который я заметил: варды нельзя ставить в определённом радиусе рядом с появлением нейтральных крипов, поскольку установленный вард блочит их появление на 4-5 минут. А нейтральные крипы дают после своего убийства дополнительное золото убившему их герою. И этот радиус, в котором нельзя ставить вард, прямо нарисован на карте. То есть, человек может поставить вард только по невнимательности. И вот год развития и чудовищное количество игр, не помогли OpenAI додуматься не ставить вард внутри жёлтого квадратика.

И таких вот моментов дофигища. То есть, я понимаю, что это всё частности и т.д, но мне кажется они как раз и иллюстрируют, что по сути ИИ OpenAI действует просто по принципу перебора вариантов: вот после этого действие наши нансы на победу уменьшились, а вот после этого увеличились. Значит будет действовать по второму варианту.
А какие то очевидные вещи, которые либо недостаточно часто случаются, либо имеют неочевидное воздействие на результат игры( как блок лесного спавна), так и остались на абсолютно таком же уровне, как и у обычных ботов.

И всё развитие просто состредоточено в тот же пресловутом переборе вариантов.

P.S При этом, я не отрицаю, что если они ещё года 2 будут нонстоп играть, они будут обыгрывать про игроков. Просто я ожидал, что они покажут какое то развитие именно в способности анализа.

Цитата (Ai'r'r170 @ 24.8.2018)
что по сути ИИ OpenAI действует просто по принципу перебора вариантов: вот после этого действие наши нансы на победу уменьшились, а вот после этого увеличились. Значит будет действовать по второму варианту.

А как поведение с вардами помогает действовать по второму варианту?

Nameless00, В смысле как помогает действовать? Ну никак не помогает. Не понял вопроса.

Ну вот доступны тебе 5 вардов по 100 у.e каждый. Соответсвенно, наиболее оптимальное решение для тебя, это расставить их в наиболее важных местах, чтобы они видели наибольший обьем карты.

А Боты несмотря на огромный наигрышь, могут все 5 вардов поставить в одно место, причёт туда, где они и без вардов всё видят.

Если уходить от примеров с Дотой, это если бы OpenAI был как Доктор Стрэндж и мог для защиты какого-нибудь древнего города, прокрутить в голове миллиарды возможных вариантов сражений, а после того как ты доверил бы ему командование своим войсковм, поставил бы 5 сигнальных башен посреди твоего города.

Ai'r'r170, ты пишешь

Цитата (Ai'r'r170 @ 24.8.2018)
по сути ИИ OpenAI действует просто по принципу перебора вариантов: вот после этого действие наши нансы на победу уменьшились, а вот после этого увеличились. Значит будет действовать по второму варианту.

Это не означает, что в каких-то случаях такая постановка вардов, как у ботов, увеличивала шансы на победу? (Раз они начали регулярно так делать) Может, не знаю, одного варда противник быстро снесёт, и ты снова не будешь ничего видеть.

Цитата (БоевойСлон @ 24.8.2018)
Это не означает, что в каких-то случаях такая постановка вардов, как у ботов, увеличивала шансы на победу?

тут есть несколько моментов:

Цитата
1) Варды дающие видимость в доте можно уничножить с помощью так называемых сентри. Сетри это те же варды, только они не дают обычной видимости в радиусе, но зато видят обычные варды вокруг себя. При этом, за каждый уничтоженный вард противника, ты получаешь определённое количество золота.

То есть, боты покупают вардов на 500 у.e, ставят и в одно место. Приходит про игрок, ставит 1 сентри, который он купил за 200 у.е, и с помощью него находит все 5 вардов ботов, получая за них 500 у.е разом.
Нет, такая постановка вардов не увеличивает шансы на победу. Точно.

2) Боты в игре ставили все имеющиеся варды вообще рядом с фонтаном( собственная база). На месте где они и так всё видят практически. То есть, это как в моём примере с сигнальными башнями, поставленными посреди города.
Никаких логических обьяснений этому нет.

При этом, дело то не только в вардах. Я просто этот пример привёл, поскольку механику и их действия просто обьяснить людям, которые не понимают в Доте.

А так вот ещё один пример: У ботов есть в кошельке 5000 уе. 3000 из них нужно оставить на байбэк( возможность моментально вернуться в игру после смери, за определённое количество золота). При этом, боту нужно купить премет стоимостью 2500 и дающий 100 к урону. Предмет состоит из рецепта который стоит 500 уе и дающий 0 преимущества сам по себе, и из составной части предмета, которая стоит 2000 и даёт 50 к урону.

Вот для человека очевидно, что ты должен купить предмет за 2000 тысячи, а потом подкопить на рецепт. Это очевидно оптимально.
Но бот сначала тратит 500 золота на рецепт( который ни даёт ничего), потом понимает, что ему не хватает на байбек, если он докупит составную часть и просто бегает с рецептом. А они наиграли миллиарды лет в Доте...

И таких примеров масса. И это меня разочаровало. Я не ожидал, что Боты ОpenAI победят профессионалов, но я ожидал, что они станут лучше по сравнению со стандартными ботами из Доты во всех аспектах игры. Скажем, когда ребёнок взрослеет, он становится лучше даже в тех аспектах и вещах, которые он не пробовал делать до этого. И ребёнок 15 лет, будет лучше ребёнка 5 лет во всех основных аспектах.

А боты OpenAI не показали прогресс в целом. То есть, с одной стороны, в часто встречающихся и сильно влияющих на результат игры вещах они становятся лучше, причём заметно. Но с другой стороны, в каких то, даже самых очевидных вещах( а пример с вардами именно из таких), они по сравнению со стандартными ботами из Доты не прогрессируют, даже несмотря на какое то невероятное количество сыгранных матчей.

А в реальной жизни( а это конечная цель использования ИИ), проблема как раз таки в том, что невозможо натренировать нейросеть просто на огромном количестве повторений

Цитата (Ai'r'r170 @ 24.8.2018)
А в реальной жизни( а это конечная цель использования ИИ), проблема как раз таки в том, что невозможо натренировать нейросеть просто на огромном количестве повторений

Потому что количество далеко не всегда переходит в качество. Шах и мат, гегельянцы-марксисты!

Странно тогда. Были бы это какие-то ноунеймы, я бы на криворукость программистов кивал, а так даже трудно предложить объяснение.

Ai'r'r170, чего ты зацепился за эти варды, понятно что с ними их просто глючит или они не понимают как они работают. Ты видел предыдущий шоу матч против комментаторов, где-то пару недель назад он был. Где эти боты разделали людей со средним рейтингом 6к под чистую 2-0 за 15-20 минут? Это по твоему совсем нулячий уровень? В этом шоу матче им усложнили условия, оставив одного курьера, которого можно убить. Они были заточены до этого на 5 курьеров, безсмертных. В том матче куча известных игроков говорили, что боты показали даже такое, до чего люди не додумывались, как они пушили вышки, как переагривали ее друг на друга постоянно, что даже ставили Вард под вышку, чтобы она его била во время пуша. Очень слажено нападали и давили, люди выглядели как те боты, что в дефолтной доте. В этот раз они играли с лучшими игроками на планете. Даже топ 16 Инта это ого-го уровень. Понятно что на такой уровень ещё нужно много учиться.

Год назад бот играл 1 на 1 на миду на СФах и легко выиграл у Денди. Игра 5 на 5 на всей карте, это просто в много много раз сложнее задача. Поэтому говорить, что у АИ нет прогресса, это просто не понимать насколько дота это сложная игра для искусственного интеллекта в целом. В которой нет четкой задачи, как в шахматах или Го или даже покере. Где куча переменных и приоритетов, плюс командная игра и взаимодействие. Проблема ботов ещё в том, что они играют между собой эти миллионы игр, а не с живыми людьми. Поэтому многие концепции для них непонятны, особенно в лейт гейме. Если их научат анализировать и учиться на играх лучших игроков, думаю прогресс будет ещё больше. Посмотрим, что будет через год. Если не забросят проект, думаю, что очень не плохо смогут себя показать.

Цитата
! 0+–
Ai'r'r170, чего ты зацепился за эти варды, понятно что с ними их просто глючит или они не понимают как они работают. Ты видел предыдущий шоу матч против комментаторов, где-то пару недель назад он был. Где эти боты разделали людей со средним рейтингом 6к под чистую 2-0 за 15-20 минут? Это по твоему совсем нулячий уровень?

AlX, По моему ты просто не паонял мою мысль.

Цитата (Ai'r'r170 @ 24.8.2018)
При этом, я не отрицаю, что если они ещё года 2 будут нонстоп играть, они будут обыгрывать про игроков. Просто я ожидал, что они покажут какое то развитие именно в способности анализа.

Давайте сравним по возрасту. Возьмем возраст того ИИ и (три «и» подряд, надо же! это впервые у меня после «длиношеее») сравним с человеком того же возраста. Кто победит в эту неизвестную мне игру?

ggr, Возраст чего? Возраст ИИ? Ну тогда очевидно у человека 2 лет нет шансов.
Возраст наигрыша? Ну ИИ наиграл уже несколько миллиардов лет.

Ещё раз, дело не в том, что ИИ не может обыграть человека. Я уверен что в конечном итоге это случится и он будет обыгрывать проф игроков.

Дело в том, что в отличии от человека прогресс ИИ не является "общим". И в областях, где он может действовать перебором он уже играет на очень высоком уровне, а в областях где нет, он играет на уровне младенца, совершая абсолютно такие же идиотские действия, как обычные боты без всяких нейросетей.

Дело в том, что человек (животное) создаёт то, что умнее его самого. И у него почти получается. Спор лишь о том - уже получилось или ещё нет. И мне не по себе от того, как вы спокойно об этом рассуждаете.

А когда кто-то говорит, что оно делает глупости... Да, блять, оно делает глупости! Оно делает! Оно!!!
Может надо было родиться раньше калькулятора, чтобы этому удивляться...

ggr, А самих по себе ботов можно назвать чем то потрясающим? С одной стороны ДА. Но просто растение тоже ОНО, но ОНО бесконечно далеко от уровня интеллекта человека.

Я вот как раз и говорю, что нейросеть сейчас гораздо ближе к калькулятору, чем у уровню интеллекта человека. И говорить, что у людей получается создавать ИИ умнее его самого нельзя. По крайней мере пока мы не знаем чё там происходит в подвалах Пентагона и Гугл Х

Ai'r'r170, ты просто не понял видимо, как машинное обучение работает и какой был подход к задаче. Никто не "объясняет" нейросети как работают варды. Они просто берут "пустую" нейросети и отправляют играть саму с собой. Почитай про reinforcement learning.
Вообще прогресс в дотке у них очень хороший. Я последние матчи не видел, но матч с топ комментаторами видел и там очень сильно было. Причем бот научится многие человеческие фишки сам исполнять.
Да, ограничений там ещё хватает и возможно полные правила доты со всеми героями не осилят в ближайшее время, но все равно выглядит весьма круто.

ConstOr, мне кажется, что Ai'r'r170 немного о другом. О том, что человек может изучить правила Доты, сыграть десяток игр и понять, что нет смысла ставить пять вардов в одном месте. А нейросеть может только играть сама с собой миллионы (миллиарды?) игр, и если случайно совпадёт, что с 5 вардами в одном месте она будет выигрывать чаще, то она будет их ставить, хотя это и бессмысленно. И даже если для доты такой подход в итоге и сработает, к созданию "общего" интеллекта это особо не приблизит, т.к. там на одних повторениях далеко не уедешь.

Цитата (БоевойСлон @ 24.8.2018)
и если случайно совпадёт, что с 5 вардами в одном месте она будет выигрывать чаще, то она будет их ставить, хотя это и бессмысленно. И даже если для доты такой подход в итоге и сработает, к созданию "общего" интеллекта это особо не приблизит, т.к. там на одних повторениях далеко не уедешь.

очень похоже на человеческое мышление:
бабка перешла дорогу с пустым ведром - быть беде
ставлю 5 вардов в одном месте - чаще побеждаю

дальше что ? ИИ поверит в бога ?

БоевойСлон, Прямо в точку

Цитата (ConstOr @ 24.8.2018)
Они просто берут "пустую" нейросети и отправляют играть саму с собой. Почитай про reinforcement learning.

Кстати нейросеть они брали не пустую. По крайней мере они точно делали 2 вещи, о которых говорили на трансляции:

1) Они говорили ИИ какие предметы ему нужно покупать.

2) Они вводили коэффициент "командного духа". То есть коэффециент от 0 до 1 по которому бот расчитывает разницу собственной и командной выгоды.

Цитата (Ai'r'r170 @ 24.8.2018)
AlX, По моему ты просто не паонял мою мысль.

ну наверное не понял, чем тебе не понравился прогресс - в прошлом году обыграть про игрока 1 на 1 на миду, и в этом году уверенно рвать уровень 6к ммр и не сливать в салат про игрокам даже. Они не дошли до вардинга нормального, хотя это по сути не сильно сложная концепция, но зато дошли до более крутых штук. Я думаю ты не смотрел те матчи против комментаторов, посмотри, может впечатление изменится.

Цитата (БоевойСлон @ 24.8.2018)
О том, что человек может изучить правила Доты, сыграть десяток игр и понять, что нет смысла ставить пять вардов в одном месте.

Ну это как бы очевидно, что абстарктное мышление человеку, дается очень очень легко, в отличии от ИИ на данный момент. Это и есть главная проблема в разработке ИИ. То что дается человеку легко, для ИИ очень сложная задача. Хотя у человека или точнее его прародителей оно тоже развивалось не один миллион лет в процессе эволюции. Когда ИИ выйдет хотя бы на уровень человека в абстракциях, он уже станет гораздо умнее человека. Так как в логическом мышлении он уже очень очень впереди +скорость вычислений + бесконечная база знаний + скорость самообучения - вот тебе и готов супер интеллект.