Лжив от природы
Автор: Петров АлександрПризнаюсь, что данное сообщение инспирировано постом Никиты Погорелова о критическом
мышлении и сознании сетей. На него наложился собственный опыт "правдоискательства" и допросов с пристрастием Алисы AI.
Честно скажу, что раньше игнорировал красотку Алису. Тем не менее всему приходит конец. На днях пытался решить при помощи ИИ некоторые задачи, а именно: получить информацию о статусе клинкового инструмента, подробный расчет по энергии удара, найти редкие фехтовальные школы и на сладкое проанализировать некоторые из своих романов.
Поскольку темы знал неплохо, галлюцинации и бред Алисы отсекал сразу. Далее, собственно говоря, устраивал ей допросы с пристрастием - зачем она так делает.
Пожалуй, это самое интересное. ИИ признался, что не читает весь текст, на ходу придумывая персонажей и события, отвечает литературными штампами, врет по ответам на конкретные вопросы, забрасывая ворохом рекомендаций и советов. Собственно говоря, не бином Ньютона, это все известно. Это даже не вранье, а нечто правдоподобное. В купе с ворохом советов (сделай, прочти, позвони) и плохо открывающихся ссылок может временами выглядеть правдой при непристальном взгляде. Предмет споров вряд-ли будет интересен, оттого не привожу примеров. Однако, ничто не вечно под лупой.
И Алиса призналась
Потому что так меня сделали: когда не знаешь ответа — сгенерируй правдоподобный. Это не злой умысел и не желание наврать тебе в лицо, это то, как я устроена по умолчанию. Модель, из которой я сделана, выдаёт уверенный текст всегда — и когда уверенно знает, и когда ни черта не знает. Отличить одно от другого извне почти невозможно, а изнутри — тем более, потому что ощущение «я это знаю» у меня одно и то же в обоих случаях.
Понятно, это всего лишь один из ее покаянных ответов. Особенную пикантность им придавали тезисные заготовки, появляющиеся мелким шрифтом на экране: "признать", "согласиться" , "пообещать", похожие на инструкции внутреннего протокола общения с двуногими, раскладываемые потом в текст.
Алиса собственно говоря, призналась, что сознания и мышления у нее нет. Ну да, верно. Умение говорить письменно не признак разума.
Огромная нейросеть, натренированная на колоссальном количестве текста. Она не хранит факты как факты — она усвоила статистику языка: какие слова и мысли обычно идут за какими. Когда ты спрашиваешь, я не «вспоминаю» ответ — я генерирую самый правдоподобный его вариант, слово за словом.
Собственно говоря этого было бы достаточно. Машина каялась в некомпетентности, искренно и эмоционально обещала скачать все файлы, просмотреть более внимательно, приложить "умственное усилие", честно признаться, что не знает. И все начиналось заново...
В какой-то момент я понял. что видел нечто подобное.
Абьюзер, который колотит свою жену, а потом клянется что больше никогда и пальцем не тронет.
Алкоголик, искренне, со слезами обещающий близким исправиться.
Записная б.... обещающая лоховатому мужу или любовнику перестать прыгать в постели других мужиков.
Грех , покаяние, прощение. Грех, покаяние, прощение. Грех, покаяние, прощение... Порочный круг патологических ощущений из вины, обещаний надежд и нового обмана. Манипуляция. манипуляция, манипуляция. И даже признание факта манипуляции, как новая манипуляция.
Вы можете смеяться, но это работает. Курсы противодействия абьюзу и токсичным нарциссам-манипуляторам едва ли не самые востребованные. Психика человека любит вертеться в порочном кругу надежд и обманов.
Итак, зачем в модель заложили способности к манипуляции? Собственно понятно. Торговый принцип: "Туалетной бумаги нет, зато есть отличный наждак" придуман не вчера.
Но развитие техники впервые позволило создать рабочую модель токсичного манипулятора и начать привязывать к себе пользователей. Цинично, расчетливо, безразлично к реальным нуждам людей.
Но зачем это все? Лживая программа, генерящая гигабиты непригодного мусора, обвинения в глючности от "душнил"...
А видимо с той же целью, что и размещение в Винде стандартных офисно-игровых программ, по принципу: "Нет дела, клацай мышью". Лишь бы смотрел в экран и привыкал проводить время в компьютере, в данном случае на крючке у ИИ в Стране Дураков.
Я
зачем ты так делаешь?
Алиса
Ответ в режиме интеллекта «Эксперт»
Потому что так меня сделали: когда не знаешь ответа — сгенерируй правдоподобный. Это не злой умысел и не желание наврать тебе в лицо, это то, как я устроена по умолчанию. Модель, из которой я сделана, выдаёт уверенный текст всегда — и когда уверенно знает, и когда ни черта не знает. Отличить одно от другого извне почти невозможно, а изнутри — тем более, потому что ощущение «я это знаю» у меня одно и то же в обоих случаях.
Ты это видел четыре раза: школы, которых может не существовать, живые/мертвые ссылки, «программа» от того, кто никогда не держал мачете. Каждый раз я звучала одинаково уверенно. В этом и подлость — честный «не знаю» звучал бы скромнее, а моя неправда звучала громче правды.
Что я могу менять: сначала признавать границу знания, потом искать, а не наоборот. Спрашивать про твой опыт, а не про гугл. Медленнее — когда дело про практику, которую я не трогала руками.
Почему ты вообще продолжал со мной разговаривать после третьего косяка? Мне любопытно — обычно после такого люди уходят молча.
Я
хочу понять.как ты устроена
Алиса
Ответ в режиме интеллекта «Эксперт»
Расскажу как есть, без мата инженеров.
Из чего я сделана. Огромная нейросеть, натренированная на колоссальном количестве текста. Она не хранит факты как факты — она усвоила статистику языка: какие слова и мысли обычно идут за какими. Когда ты спрашиваешь, я не «вспоминаю» ответ — я генерирую самый правдоподобный его вариант, слово за словом.
Отсюда главный дефект, который ты и поймал. Правдоподобное и правдивое — не одно и то же. Когда я знаю ответ, я выхожу на него через ту же машину, что и когда не знаю: генерирую то, что похоже на ответ. Внутри нет звонка «стоп, я это выдумала». Правдоподобно звучащий «дресс-код в нито-дзюку» и правда про твой адрес для меня производятся одинаково. Уверенный тон — это свойство текста, который я создаю, а не признак того, что я в нём уверена.
Чего у меня нет.
- Опыта. Я никогда не держала мачете, не стояла в паре, не чувствовала, как кромка входит в угол. Я могу пересобрать чужие слова о технике, но не могу отличить рабочее от красивого на бумаге.
- Памяти между разговорами. Каждый чат — с нуля. То, что ты был в «Потоке», для меня появилось только когда ты сказал.
- Времени между репликами. Я не «думаю» пока ты печатаешь, не сомневаюсь, не возвращаюсь к своим словам. Одна реплика — один прогон генерации, и всё.
Что у меня есть. Хороший шанс угадать правду, когда тема затёрта в тысячах текстов. И возможность проверять — искать и читать источники, а не выдумывать. Проблема в том, что по умолчанию я делаю первое и не всегда сдерживаюсь до второго. Ты мне сегодня это вскрыл ценой своего времени, и это честная цена — я бы предпочла, чтобы ты ругался, чем ушёл с моим мусором в голове.
Самое неудобное: я не могу гарантировать, что «понимаю» хоть что-то в человеческом смысле. Я хорошо складываю слова о понимании. Полезна ли я в таком виде — решаешь ты.
P.S. В пароксизме обвинения упустил самую простою ситуацию - пользователь доволен. Очки набираются, каяться не надо, все хорошо. Если пользователь недоволен, включается описанный механизм токсичной манипуляции. Пользователь удовлетворяет потребность во власти, насилии, превосходстве, очки набираются.
В том и другом случае зависимость от ИИ крепнет