Зловещий ИИ: зачем чат-боты рушат семьи и делают нас глупее, и кто в этом виноват
По мере проникновения ChatGPT и других языковых моделей во все сферы жизни растет и число случаев, когда ситуация выходит из-под контроля. То ИИ убедит своего собеседника бросить жену или мужа, то заставит порвать с друзьями под предлогом, что все мы живем в матрице. Одновременно с этим публикуются исследования о том, как применение чат-ботов влияет на наш мозг - и ничего хорошего в этом влиянии, кажется, нет. Рассказываем, действительно ли от нейросетей исходят настолько серьезные угрозы
Казалось бы, если в вопросах эмоций и тонких материй человеческой психологии обращаться к ИИ действительно не стоит, то технические запросы ChatGPT должен щелкать как семечки. Но и тут возникают трудности. «Модели вроде GPT-4o действительно умеют быстро предложить решение: от SQL-запроса (инструмент для работы с базами данных) до структуры REST API (создания интерфейсов приложений). Но вместе с этим они копируют не только лучшие, но и массово распространенные ошибки из исходных данных. Проблема в том, что сам пользователь не всегда в состоянии отличить рабочий код от потенциально уязвимого», - рассказывает старший системный администратор американской компании CDML Computer Services Иван Дегтярев. Подобные недочеты могут привести к утечке информации, сбоям или взлому.
Алексей Каленчук, директор по цифровым креативным индустриям Фонда «Сколково», согласен, что полностью доверять результатам работы ИИ опасно, особенно в сферах, где цена даже небольшой ошибки высока: в юриспруденции, финансах, здравоохранении, психологии, инженерии и программировании. «Например, уже звучат мнения, что код, написанный языковыми моделями в режиме вайб-программирования, приводит к накоплению технологического долга, который может проявиться позже в виде багов, уязвимостей или архитектурной непрозрачности, - говорит он. - Не менее опасна привычка использовать такие модели без проверки на искажения, галлюцинации и ошибки. Это приводит к снижению когнитивной бдительности: человек перестает мыслить критически, а значит, становится уязвимее». Дегтярев согласен, что это становится системной проблемой: «ИИ подменяет собой не только инструмент, но и размышление».
«Многие оптимисты от LLM утверждают, что технология уже сейчас кратно экономит время пользователям. Но в критических сферах это опасное заблуждение. Экономия возникает только при слепом доверии к результату. Если же использовать систему ответственно, с перепроверкой фактов, кода или логики, времени затрачивается не меньше, а часто и больше. И вот это «время на недоверие» сегодня почти не включается в разговор о продуктивности», - подытоживает Каленчук.
Источник: forbes.ru