. Тайный конклав собрался с участием 30 ученых и одного чат-бота o4-mini
Scientific American: математики не сумели обойти нейросеть в решении задач
В Беркли (Калифорния, США) состоялось двухдневное закрытое мероприятие с участием 30 ведущих математиков мира. Целью тайной встречи, о которой ученым запрещено было распространяться, стало испытание новой разработки компании OpenAI — чат-бота o4-mini, обладающего способностью к сложным логическим рассуждениям.
Организатором эксперимента выступила некоммерческая организация Epoch AI, которая занимается тестированием и сравнением больших языковых моделей, о событии спустя три недели после завершения тестов сообщил портал Scientific American.
Ученые сразились в интеллектуальной схватке с «рассуждающим» чат-ботом, которому было поручено решать задачи, придуманные математиками. В течение двух дней исследователи задавали боту вопросы профессорского уровня и были ошеломлены. Нейросеть оказалась способна ответить на некоторые из самых сложных задач в мире, а участники математического конклава склонны были приравнять ИИ-модель к «математическому гению».
GPT-4o mini — модель искусственного интеллекта, которую компания OpenAI представила в июле 2024 года. Она позиционируется как самая экономичная среди малых моделей компании и призвана значительно расширить диапазон приложений, построенных на базе искусственного интеллекта, благодаря доступной цене. Уже в прошлом году GPT-4o mini продемонстрировала высокие результаты на различных тестах.
Для оценки способностей o4-mini был создан специальный набор из 300 уникальных математических задач разного уровня сложности — от студенческого до исследовательского, ответы на которые еще не были опубликованы. А самим ученым было запрещено что-либо обсуждать друг с другом в обычных мессенджерах и электронной почте для чистоты эксперимента.
Обычно математические вопросы, требующие способности рассуждать и ответы на которые ранее не приводились в Сети, ставят в тупик традиционные модели. Но этот интеллектуальный противник оказался гораздо сильнее.
В ходе подготовки к встрече o4-mini уже показал впечатляющий результат, решив около 20% задач. Участникам симпозиума же предстояло сформулировать финальные десять вопросов, которые были настоящим вызовом даже для академиков. Придумать и решить их были способны единицы людей во всем мире. За каждую задачу, которую ИИ не смог бы решить, автору полагалось вознаграждение $7500.
Как признался потом математик из Университета Вирджинии Кен Оно (руководитель и судья на встрече), нейросети предложили решить задачу из теории чисел, соответствующую уровню докторской диссертации. К его изумлению, чат-бот в режиме реального времени начал поиски решения. Сначала он изучил литературу по этому вопросу, затем попробовал решить упрощенную версию задачи и, наконец, предложил людям достаточно дерзкое, но верное решение поставленной перед ним задачи.
«Я никогда раньше не видел такого рода рассуждений в моделях. Это то, что делает ученый-математик. Это пугает. В некоторых отношениях эти большие языковые модели уже превосходят большинство наших лучших аспирантов в мире», — сказал Оно.
В итоге группе все же удалось найти десять вопросов, которые загнали бота в тупик, но ученые были поражены тем, насколько далеко продвинулся ИИ за один год. Бот также был намного быстрее профессионального математика: ему требовалось всего несколько минут, чтобы сделать то, на что у эксперта-человека ушли бы недели или месяцы.