Ии: блеф, отъем денег у населения и победа над неопределенностью

      Комментарии к записи Ии: блеф, отъем денег у населения и победа над неопределенностью отключены

Ии: блеф, отъем денег у населения и победа над неопределенностью

Прямо на данный момент, пока вы просматриваете эти строки, в мире происходит необычное событие — ИИ побеждает человека в очередной игре. Необычен не сам факт превосходства автомобилей, в противном случае, что об этом мало пишут. Быть может, в связи с тем, что в этом случае машина состязается не в легендарную игру «го», не в DOOM, лапту либо прятки, а в спортивный карточный покер.

Покер довольно часто пренебрежительно именуют азартной игрой, выигрыш в которой зависит только от случая, но его на сегодня в законодательном порядке признали официальным видом спорта в целом последовательности государств (за исключением России). Самое занимательное для нас и автомобилей в том, что в покере выигрышные стратегии возможно спрогнозировать при помощи теории возможности.

И самое основное, покер — это игра с неполной информацией, в отличие от шахмат, шашек, нард, где оба игрока видят положение всех фигур на доске. Ранее ИИ не имел возможности победить в том месте, где присутствует элемент неопределенности. Так что же изменилось?

Самые громадные игры

Дисклеймер: для понимания материала из данной статьи не нужно никаких знаний в покере, но для более глубокого погружения в тему нужно знать хотя бы базы игры.

В фантастике роботы довольно часто бьются с роботами («хорошие» против «нехороших»), но в действительности чемпионаты автомобилей, за исключением всем известных механических «боев», завлекают мало зрителей. Поединки ботов между собой лишены эмоциональности, духа состязаний, и воображают интерес лишь для узкой аудитории экспертов. То ли дело борьба с людьми!

К 2016 году компьютеры смогли победить (либо отыскать математическое ответ выигрышных позиций) у человека в две дюжины интеллектуальных игр: ним, крестики-нолики, призрак, четыре в ряд, гомоку (15х15), мельница (с 9 фишками), лентомино, овалху, кварто, тико, пангки, рендзю (без дебютных правил), авари (семейство манкала), магараджа, «козы и тигры», фанарона, британские шашки, «три мушкетера», хекс (8х8), калах (6х6), китайские палочки, пентаго, го (5х5 и хорошая игра против Ли Седоля).

Не все из этих игр смогут быть вам привычны, но о каждой возможно написать отдельную статью с драматической главой о борьбе с автомобилями. Пожалуй, одним из самых занимательных и напряженных противостояний (кроме всем известных перипетий с игрой «го») стала битва за шашечную корону. Подробнее об этом периоде возможно прочесть в отечественной первой статье из цикла об ИИ, а на данный момент одно увлекательное число: британские шашки — самая громадная из игр, всецело решенных сейчас.

Размер ее поискового пространства 5?1020. Чтобы отыскать ответ, в течение 18 лет сеть персональных компьютеров (от 50 до 200 штук) произвела 1014 вычислений.

Если вы просматривали отечественные прошлые статьи на тему ИИ, то уже понимаете, что в сложных играх машина не побеждает полным перебором всех вероятных комбинаций ходов. Одно лишь оценочное предельное число неповторяющихся шахматных партий, вычисленное в 1950 году американским математиком Клодом Шенноном, образовывает примерно 10118. Для сравнения — количество атомов в замечаемой Вселенной образовывает по различным оценкам от 4?1079 до 1081, другими словами в 1040 раз меньше числа Шеннона.

Немыслимо знать все шахматные партии «наизусть». Кроме этого не представляется вероятным высчитывать и количество вероятных позиций. И правило это относится не только шахмат.

Однако компьютеры за счет развития методов, а после этого и совершенствования сверточных нейронных сетей смогли победить в том месте, где неотёсанным перебором человеческий мозг трудится стремительнее либо как минимум не хуже.

Какое место покер занимает на фоне вторых хороших игр? Заберём для примера самую популярную на сегодня разновидность покера — техасский холдем с лимитированными ставками. Лимитный холдем в силу ограниченных ставок очень зависим от математики и прекрасно подходит для алгоритмизации: для игры один на один в нем существует порядка 1018 игровых обстановок.

В случае если будем учитывать, что кое-какие карточные комбинации эквивалентны между собой (к примеру, два туза различной масти будут аналогичны каждый паре тузов), возьмём порядка 1014 разных игровых комбинаций. Для сравнения, в анлимитном холдеме их 10160, а в игре «го» вариантов развития 10170. 1014 — думается, что это мало если сравнивать с шахматами и куда более несложными британскими шашками.

Сложность в том, что в покере игроки не знают карт оппонента, и не знают, какую комбинацию составят их личные карты на следующем ходе.

Помимо этого, в случае если убрать покерные ограничения (т.е. разрешить делать ставки на все дешёвые игроку деньги) и увеличить число игроков с двух до трех-пяти, мы возьмём такое вязкое болото математических неопределенностей, что в нем начнут тонуть замечательнейшие суперкомпьютеры. Человеческий опыт разрешает на интуитивном уровне, глядя на действия оппонента, оценивать нехватающую данные а также делать какие-то прогнозы и выводы.

Так, покер делается хорошей площадкой для проверки свойств ИИ, поскольку в нем сложность увеличивается за счет людей, каковые не только используют логику, но и пробуют перехитрить соперников, применяя другие уловки и блеф. У ИИ остается лишь теория игр для поиска оптимальных стратегий.

Боты против человечества

Первые важные попытки создать покерного бота были предприняты еще в начале 80-х. В 1984 году узнаваемый эксперт по покеру Майк Каро представил программу Orac, поразившую многих собственными возможностями. Orac, к примеру, имел возможность довольно удачно вычислить блеф соперника, всего лишь замеряя время, которое потребовалось сопернику для хода — чем продолжительнее вспоминал человек, тем выше была возможность блефа.

В 1991 году в Альбертском университете (Канада) началась разработка программы Polaris, предназначенной для игры в холдем один на один. По окончании 16 лет работы над проектом, воображавшим собой комбинацию нескольких покерных ботов, учитывающих целое семейство методов поиска равновесных стратегий, в 2007 году состоялся матч против нескольких покерных специалистов. По условиям игры, компьютеру и человеку раздавали одинаковые карты, исходя из этого влияние случайности в игре свели к минимуму.

Сперва Polaris ощутимо побеждал, но по окончании анализа нескольких партий игроки нашли повторяющиеся изюминки игры программы и смогли победить.

В июле 2008 года Polaris смог наконец-то победить чемпионат между машиной и людьми. Неспециализированный счет сессий составил 3 победы, 2 поражения, 1 ничья. Но эта победа не стала началом эры доминирования гибели и машин онлайн-покера.

Как уже упоминалось, «машинный покер» играется при последовательности ограничений, каковые не соблюдаются в настоящих онлайн-играх людей.

Первым важным опробованием для людей стал турнир 2015-го года, в котором четверым из ТОП-10 лучших игроков в техасский холдем противостояла программа Claudico. В соревновании Brains Vs. Artificial Intelligence люди были посильнее.

Вторая покерная программа Tartanian7 университета Карнеги-Меллона в 2014 году смогла победить нескольких новичков и компьютерных ботов. Особенность данной программы в том, что по окончании десяти лет разработки, она обучилась сносно играться в анлимитный холдем с новичками.

Так, до недавнего времени ИИ более-менее с уверенностью ощущал себя в лимитных играх с одним человеком и всецело терялся в анлимитных и многоместных покерных дисциплинах. Однако всегда были люди, каковые трудились над тем, дабы боты смогли играться лучше людей. Обстоятельство очевидна — деньги.

Машина получает в играх

Один бот может уступить человеку, но сотня ботов математически увеличивает шансы на победу. В 2010 году разразился громадной скандал, в то время, когда на известной покерной площадке были распознаны боты, суммарно получившие более двухсот тысяч долларов. Эксперты сайта PokerTableRatings нашли поразительное сходство всех параметров на долгой расстоянии у нескольких игроков.

Статистически удалось доказать, что все эти странные игроки в любых случаях действовали аналогично.

Неужто боты постоянно побеждали и «спалились» лишь на массовости явления? Не совсем так. Онлайн-площадка для игры, так называемый «покер-рум», отдает игрокам рабочую группу, взимаемую с каждой ставки игрока.

Возврат, именуемый рейкбэк, есть дополнительным бонусом, благодаря которому покер-румы завлекают дополнительных игроков.

В среднем, размер платы за игру в покер образовывает 5 % и не имеет возможности быть больше 3–5 у.е. за 1 игру. Рэйкбэк есть большой статьей прибыли для ботов: за счет него возможно играться в 0 с людьми, но наряду с этим получать за счет процентов от покер-рума. Наличие ботов, удачно играющих против новичков — это факт.

Но они никак не воздействуют на глобальный рынок развития ИИ.

Холистическая победа на поле неопределенности

По окончании удач Tartanian7 в университете Карнеги-Меллона приступили к созданию нового, значительно более совершенного покерного бота — Libratus. Тогда как программа DeepStack из соперничающего Альбертского университета продемонстрировала очень хорошие результаты в предварительных тестах, Libratus в январе 2017 года выступил против настоящих покерных специалистов. Вычисления в ходе разработки Libratus заняли 15 млн ядро-часов (Claudico обошлась 2–3 млн ядро-часов.

В ходе игры Libratus применяет мощности суперкомпьютера Bridges (1.35 петафлопс/сек).

Как уже упоминалось в начале, для сокращения количества вероятных покерных комбинаций, программы имели возможность пользоваться (что и делали) упрощением, по которому кое-какие карточные комбинации считались аналогичными между собой. Как правило это приемлемо, но не против лучших в мире специалистов, где отличие между всеми картами значительна. Libratus же применяет неповторимую стратегию для каждой ситуации, в которой оказывается.

11 января стартовал турнир, в котором Libratus суммарно играется 120 тыс. раздач в анлимитный техасский холдем один на один. Игра идет на виртуальные деньги, но приз за победу — 200 000 долларов — полностью настоящ для четверых опытных игроков в покер, двое из которых уже имели опыт игры против бота, победив в 2015 году у Claudico. Дабы финал соревнований не был через чур случайным, любой матч дублируется так, дабы игрок А приобретал карты, каковые взял компьютер в партии с игроком В и напротив.

Libratus сначала вырвался вперед, в первоначальный же сутки победив у людей, и более чем в два раза увеличив отрыв во второй. Чем продолжительнее продолжается игра, тем больше ИИ приобретает информации об игроках, разрешающей ему становиться посильнее. Любой раз, в то время, когда люди подмечали недочеты в стратегии программы, она выясняла об этом, и корректировала собственную игру на следующий сутки. В конце прошлой семь дней Libratus уже победил практически 800 000 долларов.

К 30 января выигрыш перевалил за миллион долларов.

Машина играется сбалансированно — это значит, что делает все понемногу. Она может блефовать с нехорошими картами либо с хорошими, может делать высокие ставки либо играть на низких — любой раз ее игра подстраивается под действия человека и оказывается лучше.

Как в действительности трудится Libratus? Ответа на данный вопрос до тех пор пока нет. Ученые не будут раскрывать секрет, как побеждает программа, как минимум до конца турнира. Мы знаем, что в базе программы лежит намерено созданный метод по вычислению оптимальных стратегий для игр с неполной информацией.

Употребляется кроме этого новая разработка успехи равновесия Нэша — стратегия, в то время, когда ни один из игроков не увеличит собственный выигрыш поменяв стратегию, в случае если второй, со своей стороны, стратегию не меняет.

А не сотрёт с лица земли ли Libratus онлайн-покер?

Стандартом для изучений есть техасский холдем, но использованные способы разработки не являются привязанными к одному виду покера. В целом создать аналогичного бота возможно и для других видов (и не только), но самое основное — ученые возьмут действующий инструмент решения проблем в области неопределенности. А это не только громадный класс вторых игр (человек до сих пор побеждает компьютер в первую часть StarCraft), но и множество настоящих задач во всем мире.

Что касается простого покера, то рядовые игроки уже высказывают опасения, словно бы программы смогут поставить крест на простой онлайн-игре либо как минимум существенно усложнят игру, заставив каждого включать веб-камеру и показывать собственные действия в сеть. Но как мы знаем из прошлого, программы не стёрли с лица земли шахматы, а шахматные турниры с огромными финансовыми фондами все еще пользуются популярностью. Но кроме того в случае если онлайн-покер неспешно уйдет в прошлое, в конечном итоге все, что связано с вычислительной мощью компьютеров, отправится человечеству на пользу.

Источники:

  • Покер-боты
  • ИИ сразится с игроками в покер
  • Разработчики бота Libratus и игроки ответили на вопросы Reddit
  • Artificial Intelligence Is About to Conquer Poker, But Not Without Human Help

Чистая вода с помощью чистой водки — новый способ отъема денег у населения


Интересные записи на сайте:

Подобранные по важим запросам, статьи по теме: