Главная -> Новости -> Компьютер, имитирующий человеческий мозг, выиграл у профессионала в игре "Го"

08.02.2016

Компьютер, имитирующий человеческий мозг, выиграл у профессионала в игре "Го"

Через восемнадцать лет после победы компьютера над чемпионом мира Гарри Каспаровым в шахматы, машина победила профессионального игрока в древневосточную настольную игры "Го". Прогресс огромен, говорят разработчики искусственного интеллекта, т.к. "Го" очень требовательная к вычислениям игра, про которую еще десять лет назад некоторые исследователи говорили, что компьютеру никогда не победить в нее человека-эксперта. Более того, машина выиграла не благодаря вычислительной мощности, а используя инструменты "машинного обучения", которые позволяют ей учить себя и думать как люди.

"Го" выглядит по-детски просто. Доска состоит из квадратов 19-на-19. Один игрок имеет запас черных камней, другой запас белых, и они по-очереди размещают свои камни на доске, черные начинают первыми. Игрок старается окружить «цель» из одного или более камней противника так, чтобы не осталось открытой клетки, в то время как противник делает то же самое. Окруженные камни удаляются с доски и, грубо говоря, выигрывает тот, кто окружит больше камней.

Тем не менее, "Го" с трудом поддается компьютерному анализу по 2-м причинам. Во-первых, доска настолько большая, что кол-во возможных ходов астрономическое. В начале игры каждый игрок имеет примерно 360 вариантов размещения каждого камня. Таким образом, после пяти ходов, доска может быть в любой из более чем 5 триллионов различных расстановок. В общей сложности, число различных возможных расстановок камней выходит за пределы 10¹⁰⁰, что делает невозможным для компьютера игру с помощью прямого вычисления всех возможных комбинаций.

Во-вторых, для любого конкретного расположения камней на доске трудно оценить, черные или белые имеют преимущество. В шахматах, например, игроки или компьютеры могут примерно оценить, насколько сильны их позиции на доске просто сравнивая части, которые они захватили с теми, которые потеряли, говорит Коулом. Но вести такой учет "на лету" намного сложнее в "Го", говорит он, так как большая часть подсчета делается в конце игры.

Предыдущие программы были нацелены не столько на оценку состояния доски, сколько на скоростное моделирование, как игра может закончиться. "Crazy stone" использует алгоритм, называемый "дерево поиска Монте-Карло", который, вместо того чтобы рассчитать все возможные последовательности игры, образует только некоторые из них с помощью генератора случайных чисел на каждом шаге, выбирая между различными ходами. Он использует небольшое количество адаптивного программирования, или машинного обучения, чтобы узнать, как избежать бесполезных шагов. Crazy stone выигрывал у сильных игроков людей, говорит Бруно Bouzy, программист в Парижском Университете Декарт, но только тогда, когда позволялось выгодно размещать первые три или четыре камня на безальтернативной основе.

Теперь, однако, Дэвид Сильвер, Демис Хассабис, и 18 других компьютерных ученых Google DeepMind, разработали программу, которая противостоит непосредственно прямым вызовам "Го". Вместо того, чтобы случайно генерировать последовательности ходов, программа AlphaGo учится различать хорошие ходы и плохие, и оценивать силу своей позиции на доске. Чтобы сделать подобное, программа опирается на "глубокие нейронные сети" - компьютерную программу, которая имитирует соединения нейронов в головном мозге и обладает способностью к обучению.

Такие сети состоят из слоев абстрактных взаимосвязанных "нейронов". Один нейрон может помогать или препятствовать другим, и происходит обучение, так как система регулирует связи между нейронами. Например, AlphaGo использует "сети политики", чтобы судить о жизнеспособности возможных ходов. Нижний слой сети состоит из массива нейронов 19-на-19, который в основном делает снимок состояния доски и использует его в качестве входа. Верхний слой состоит из массива, который показывает все возможные места для укладки следующего камня и вероятности принятия каждого из этих ходов. А между ними лежат еще 11 слоев.

Цель состоит в том, чтобы автоматически получить сеть с лучшим следующим ходом при любой начальной конфигурации. Чтобы обучить сеть, исследователи наполняли его базу данных 30 млн конфигураций доски и последующими играми опытных игроков. Чтобы все входные данные соответствовали всем выходным, компьютер сравнивал связи в промежуточной сети, которые затем кодировали в данные. Затем они позволяли программе дополнительно обучать себя, играя против себя снова и снова. Таким образом, AlphaGo получала опыт перехода от худшего хода к лучшему. "То, как ведет себя система, больше похоже на поведение человека" говорит Хассабис.

AlphaGo легко победила Crazy Stone и другие Go-игры, выиграв 99,8% игр, когда работала на одном можщном компьютере и 100% игр, когда работала на нескольких компьютерах. Она обошла Фан Хуэй, профессионального игрока и чемпиона Европы по "Го" 2013 года, победив в трех из пяти игр. AlphaGo получила ​​шанс сыграть среди высокоранговых профессионалов в марте, говорит Сильвер, когда он сразится с Ли Седоль, 32-летним южнокорейским Go-чемпионом самого высокого ранга, на матче в Сеуле.

Коулом отмечает, что это не главное назначение нового изобретения. "Это больше похоже на большое инженерное достижение", говорит он. "Сложив все кусочки вместе, оно действительно становится инновационным."

Глубокие нейронные сети и глубокое изучение уже находят применение в таких областях, как распознавание образов, автоматизированный перевод, медицинская диагностика и т.д. Таким образом, концепция AlphaGo может уже использоваться в нашей жизни.

Даже если AlphaGo выиграет у Седола, этот триумф не будет выглядеть, как поражение Каспарова в шахматы, прогнозируют ученые-компьютерщики. Люди просто привыкли к мысли, что в играх в конечном счете компьютеры преобладают. Но компьютеры еще не выигрывают их все, отмечает Боузи. Как ни странно, люди по-прежнему могут иметь большое преимущество в видеоиграх. "Они, как правило, очень сложны", говорит он, "с большим количеством символов, большим количеством действий, большим количеством локаций." В настоящее время, мозг 13-летнего человека может справляться со всем лучше, чем компьютер.

Оставить комментарии