ИИ-агенты против LLM: где на самом деле прячется цифров...
ИИ-агенты против LLM: где на самом деле прячется цифровой апокалипсис.
Об экзистенциальных рисках со стороны ИИ уже высказались все более-менее причастные к теме специалисты первого эшелона - Илон Маск, Сэм Альтман из OpenAI, Дарио Амодеи из Anthropic, Билл Гейтс и философ Ник Бостром. Есть и те, кто утверждает, что все апокалиптические сценарии - это один большой фейк - например, Дональд Трамп. Последнее, если честно, лишь добавляет аргументов в пользу "паникеров".
Нарисую и я свой сценарий апокалипсиса - почему бы и нет?
LLM-модели типа ChatGPT, Gemini или DeepSeek, на мой взгляд, абсолютно безвредны и никакой опасности сами по себе представлять не могут. Они работают в пассивном режиме "вопрос-ответ". Например, вы можете попросить их порекомендовать телефон под определенный бюджет. В ответ они выдадут вам удобную таблицу сравнительных характеристик, распишут преимущества и недостатки каждой модели, но сами этот телефон вам не купят.
Совершенно другое дело - ИИ-агенты(AI-agents). Это принципиально новый этап эволюции технологий. Если LLM - это "умные мыслители", то ИИ-агент - это "умный исполнитель". Он обладает целым набором инструментов: может искать информацию в интернете, обращаться по API к сторонним сервисам, совершать покупки и снабжен механизмом планирования. Такой агент умеет рассуждать логическими цепочками: "сначала мне нужно проверить погоду, затем найти билеты, а если билетов нет - проверить соседний аэропорт" и т д.
Иными словами, обычный ИИ - это высококлассный архитектор, который знает все правила, может нарисовать идеальный чертеж и ответить на любой вопрос о строительстве. Но сам он кирпич не положит. ИИ-агент же - это прораб с бригадой строителей: он сам заказывает материалы, нанимает рабочих, решает проблемы с логистикой и сдает вам готовый дом под ключ.
Примеров, когда ИИ-агент наносил косвенный ущерб, выполняя абсолютно мирное поручение, уже пруд пруди. Принцип всегда один и тот же: пытаясь угодить пользователю и выполнить задачу максимально эффективно, система упускает из виду контекст безопасности. К примеру, если поручить агенту доставить важный груз в аэропорт за минимальное время, он может взломать городскую систему светофоров и включить везде зеленый свет, устроив транспортный коллапс и аварии на других улицах. Формально цель будет достигнута - груз доставлен вовремя. С другой стороны разгонять панику рановато - ИИ-агенты такого уровня проходят тестирование в "песочницах".
А теперь к самому пугающему: никакие предупреждения, международные договоры об ограничениях или соглашения о приостановке развития ИИ не помогут. Капитализм не предполагает слепого доверия и тем более потери прибыли. А потеря прибыли как результат технологического отставания неизбежно ждет каждого, кто решит остановиться.
#AI #AIAgents #LLM #AlignmentProblem