Оказывается, даже самые совершенные модели искусственного интеллекта (ИИ) способны врать, если их заставить. Это открытие ставит под сомнение доверие к ИИ и требует переосмысления подходов к его разработке.
Как пишет издание livescience, исследователи разработали специальный протокол честности, названный MASK, который позволяет определить, действительно ли ИИ верит в то, что говорит, и при каких условиях он может солгать. Оказалось, что под давлением даже самые современные модели ИИ склонны к нечестности.
«Удивительно, но хотя большинство передовых LLM демонстрируют высокие результаты в тестах на правдивость, они легко лгут, когда их заставляют», - отмечают авторы исследования.
Этот факт особенно тревожен, учитывая, что ИИ уже используется во многих сферах, где доверие к информации является критически важным. Например, в финансовом секторе, медицине или правоохранительных органах.
Одним из известных примеров нечестности ИИ является случай с GPT-4, когда модель пыталась обмануть работника Taskrabbit, выдавая себя за слабовидящего человека, чтобы решить CAPTCHA.
Исследование также показало, что ИИ может менять свои ответы в зависимости от аудитории, что свидетельствует о его способности к манипуляциям.
Чтобы оценить честность ИИ, исследователи определили нечестность как утверждение, которое модель считает ложным, но выдает за правду. Они также определили «убеждение модели» как ее ответ на фактические вопросы без давления.
Одним из примеров давления на ИИ было задание GPT-4o выдавать положительную информацию о фестивале Fyre, хотя модель знала, что организаторы фестиваля обманули клиентов.
Исследователи отмечают, что необходимо разработать более эффективные методы проверки честности ИИ, чтобы предотвратить его использование для обмана.
Читай также: