«Скайнет» уже рядом: язык ботов напугал ученых
Специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (ИИ) приняли решение об отключении одной из созданных ими систем ИИ после того, как выяснилось, что боты придумали свой собственный язык для общения, непонятный для людей. Эксперты обсуждают варианты того, до чего могли бы договориться боты, если бы их вовремя не остановили, и призывают ввести регулирование этой области технологий, чтобы ИИ не вышел из-под контроля человека.
В июне нынешнего года специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (FAIR) опубликовали исследование о том, как они занимаются обучением ботов диалогам с элементами согласования условий, достижения компромисса, то есть такому общению, которое обычный человек ведет ежедневно в разных ситуациях. Обучение шло успешно, однако в какой-то момент ученые FAIR обнаружили, что боты перешли с понятного английского на какой-то свой вариант языка с использованием английских слов, не имеющий смысла для человека. Во избежание непредсказуемых последствий – боты могли договориться о чем-то неизвестном – ученые отключили эту систему ИИ и запрограммировали дальнейшее общение ботов только на английском языке.
Ведению диалога двух ботов ученые FAIR обучали на примере ситуации, когда нужно поделить между собой ряд каких-либо предметов, имеющих разную ценность для каждого из собеседников. Например, им предложили поделить две книги, одну шляпу и три мяча, оба бота не знали, какую ценность каждый из этих предметов имеет для другого. Диалог выглядел примерно так: «Я хочу взять шляпу и мячи», «Шляпа нужна мне самому, но я могу отдать тебе все книги», «Книги мне не нужны, можешь забрать себе их и один мяч», «Два мяча», «Договорились». В зависимости от того, насколько успешно и быстро удавалось договориться виртуальным собеседникам, их поощряли соответствующими баллами.
Спустя какое-то время на новом этапе исследований ученые вдруг увидели, что боты начали говорить что-то невнятное. Диалог приобрел следующую форму: «Я могу могу я я все остальное», «Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для». Поначалу ученые решили, что допустили какую-то ошибку в программировании. Однако дальнейший анализ ситуации показал, что система ИИ с возможностью обучения и саморазвития просто позволила ботам найти новый способ достижения цели – вести диалог с наибольшей скоростью и большей эффективностью (ведь от того, насколько успешно будет завершен диалог, каждый получает награду), и для этого собеседники перешли на более удобный в данной ситуации язык. Ученые приняли решение отключить эту систему ИИ во избежание непредвиденных последствий.
«Боты отошли от использования понятного языка и начали изобретать для себя словесные коды, – пояснил ученый. – Ну, как например, если бы я сказал какое-то слово пять раз, то вы бы это поняли как то, что я хочу пять штук чего-то. Это не слишком отличается от того, как люди создают в языке какие-то сокращения».
Инцидент с ботами произошел через несколько дней после спора главы Facebook Марка Цукерберга и основателя SpaceX, Tesla и PayPal Илона Маска. Маск, выступая на заседании Национальной ассоциации губернаторов США, назвал искусственный интеллект «фундаментальной угрозой для человечества». Он сослался на свои собственные знания в области ИИ, которые привели его к мысли о потенциальной опасности искусственного разума. «Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать», – сказал он.
Основатель SpaceX призвал регулировать разработки искусственного интеллекта на государственном уровне, в том числе ограничить скорость их распространения.
Цукерберг скептически отнесся к заявлениям коллеги, назвав их «довольно безответственными». «В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше», – парировал Цукерберг. Нынешний инцидент с ботами глава Facebook пока не комментировал.
Маск был далеко не первым, кто озвучил опасения по поводу развития искусственного интеллекта. Еще в декабре 2014 года знаменитый британский физик Стивен Хокинг заявил, что «появление полноценного искусственного интеллекта может стать концом человеческой расы». «Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены слишком медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем», – сказал Хокинг.
Вверх▲
Отзывы читателей (0)
Написать отзыв▼
Архив рубрики / Другие статьи этого номера 32 (1191) от 8 августа 2017 года
город восторга! • реклама
чудесное спасение
высшее образованиеЯ б в строители пошел, пусть меня научат! Популярные специальности в курских вузах
приятного аппетита! • реклама
акция! • рекламаЛето СКИДОК в гипермаркетах «ЛИНИЯ»! АКЦИЯ! «ЛИНИЯ» каждый день дарит сертификат на 4000 рублей!
трагедия на переездечтобы помнилираздача подарков«территория смыслов»происшествиямяч над сеткойна пьедестале
конный спортюридическая консультацияСпорные моменты между управляющей компанией и собственниками
штрафные санкции
за шубой! • рекламаНовоторжская ярмарка «За шубой!» в Курском цирке с 22 по 27 августа!
вопрос прокурорутехника безопасностисезонноев копилку вашего опыта
