В рамках Startup Village состоялся финал первого в России «Теста Тьюринга» – соревнования чатботов, организованного Фондом «Сколково» совместно с компанией «Наносемантика», резидентом «Сколково» и ведущим российским разработчиком виртуальных консультантов (или чатботов) для коммерческого применения.
Соревнование чатботов на SUV открыл робот Алан Тьюринг. Фото: Sk.ru
Подготовительные работы начались задолго до самой конференции. Прием заявок на участие в конкурсе стартовал в марте — всего было зарегистрировано 69 команд. Заявку мог подать любой желающий — как действующие команды разработчиков, имеющие в арсенале готовые проекты, так и энтузиасты, желающие попробовать свои силы.
Создание и обучение чатботов велось на технической платформе, предоставленной компанией «Наносемантика» и, как показал ход разработки, платформа оказалась достаточно удобной и легкой для освоения. Даже начинающие разработчики смогли создать роботов за довольно короткий срок.
На протяжении двух месяцев создатели пытались научить своих ботов общаться с людьми, не выдавая при этом своей «природы». Для того, чтобы попасть в финал конкурса на SUV, чатбот должен был пройти строгий экспертный отбор. В экспертный совет конкурса вошли ведущие российские специалисты в области искусственного интеллекта и робототехники: гендиректор компании «Ашманов и партнеры» Игорь Ашманов, руководитель отдела лингвистики компании «Наносемантика» Анна Власова, исполнительный директор «Наносемантики» Кирилл Зоркий, а также руководитель Робототехнического центра «Сколково» Альберт Ефимов.
При оценке проектов основное внимание уделялось числу авторских шаблонов для каждого чатбота – их должно было быть не менее 50. Кроме того, каждый эксперт задавал чатботам по 15 вопросов, оценивая адекватность ответов. Если ответ виртуального собеседника можно было принять за человеческую реакцию, чатбот получал один балл.
В итоге в финал вышли 8 команд: «Идеальный собеседник», «Позитифф», «Инобот», «Лиска Лисичкина», «Сборка №42», «Сократ», «Пятый дом» и «Форвард».
Соревнование чатботов на Startup Village открывал сам «оживший» Алан Тьюринг — робот, изготовлением которого занимались сразу три компании: «Наносемантика», «Лекси» и «Нейроботикс». Первые две подарили роботу «мозг», последняя дала ему тело и лицо великого математика.
Тест на Startup Village проходил не совсем по классическому сценарию: все допущенные к соревнованию чатботы общались с посетителями конференции, пытаясь выдать себя за человека. Помимо роботов через чат разговаривали с судьями и люди — восемь волонтеров-лингвистов, каждый из которых работал «в паре» с ботом. В процессе общения судьи должны были определить, кто из их собеседников бот, а кто — человек.
Стандартная интерпретация теста Тьюринга выглядит несколько иначе: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».
«Чатботы пытались обмануть посетителей и ввести их в заблуждение, доказать, что с ними говорит не робот, а человек. Членом жюри мог стать любой посетитель конференции, и каждый из людей, ведущих диалог с чатботом, ставил ему оценку, в зависимости от того, насколько данный чатбот похож на человека. Лучшей командой признана та, что создала наиболее человекоподобный искусственный интеллект, а в этом случае мы говорим именно об искусственном интеллекте», — рассказал Sk.ru руководитель Робототехнического центра «Сколково» Альберт Ефимов.
Интересный факт: во время диалогов волонтеры не пытались притвориться чатботами, но судьи в некоторых случаях принимали их за роботов, и наоборот — роботов, которые работали в паре с волонтерами считали людьми. По правилам конкурса, установленным Робоцентром, тест считался бы пройденным, если бы чатбота приняли за человека как минимум 50% независимых судей. «К счастью, ни одному из чатботов не удалось обмануть людей, которые с ними общались — это значит, что естественный интеллект все еще более сметлив, чем искусственный. Это, наверное, хорошо. Я расцениваю этот результат как позитивный», — иронизирует Альберт Ефимов.
Впрочем, результат все равно оказался впечатляющим. Победителем конкурса стал чатбот Соня, созданный командой из Санкт-Петербурга «Инобот», под лидерством Ивана Голубева. Для прохождения теста Соне не хватило всего 3% — бота приняли за человека 47% судей. Второе место в конкурсе досталось чатботу по имени Сократ, созданному командой из Москвы во главе с Александром Кузьминым. Он сумел ввести в заблуждение 24% своих собеседников. Третью строчку заняла «Лиска Лисичкина», разработанная командой из Красноярска во главе с Алексеем Лаврушевым. Ее результат — 19%.
На награждении проектов Игорь Ашманов, который также является председателем совета директоров «Наносемантики», заявил, что подобные тесты планируется сделать ежегодными. Кроме того, организаторы хотят адаптировать конкурс для студенческой аудитории и проводить состязания между профильными вузами.
«Но главный результат получен до Startup Village — мы, совместно с компанией «Наносемантика», собрали сообщество разработчиков искусственного интеллекта, которое будет дальше расти и развиваться — я вижу в этом очень важное образовательное значение», — заявил Альберт Ефимов
До 7 июня прошлого года ни одному роботу не удавалось пройти тест Тьюринга, введя в заблуждение 30% собеседников при условии длительности беседы не более 5 минут. Но год назад рубеж был пройден. Чатбот, созданный командой под руководством российского программиста Владимира Веселова, сумел преодолеть 30% барьер, установленный Тьюрингом более полувека назад.