mns2012

Фокус — в pattern matching. А вишенка на торте — современные вычислительные мощности... Но принципиально всё уже заложил К.Шеннон в 1948 г. Просто не было таких вычислительных возможностей, но уже тогда было видно, чего можно достичь.

Свойство	Мышление человека	"Мышление" больших языковых моделей
Источник	Разум (врождённая характеристика)	Статистическая корреляция в тексте
Основа	Каузальные модели окружающей реальности	Веса/Обратный проход в нейронных моделях
Гибкость	Высокая (быстрое обучение новым правилам)	Умеренная (ограничена данными на этапе обучения)
Механизм	Сознательное рассуждение	Распределение вероятности текстовых токенов

Таблица — courtesy of Gemini, правда, оттуда мне пришлось вымарывать эволюцию 😂.

Иногда в пользу LLM reasoning без кавычек приводят соображение, что для более или менее точного статистического прогноза большая языковая модель должна так или иначе учитывать свойства реального объекта, о котором строится прогноз (например, чтобы сопоставить слова "яблоко" и "гравитация" в статье о И.Ньютоне), и что мышление человека также зиждется на сопоставлении с образцом (делай как я, ищи общее и т.д.). Сказать по правде, это мне представляется достаточно поверхностным суждением (особенно последнее, ибо невозможно уловить даже очевидное сходство чего-то с чем-то ещё, если нет "сравнивалки", то есть врождённых, предварительно вложенных Создателем или инженером, если речь идёт об искусственных вычислительных системах, возможностей или, как сейчас принято говорить, базовой функциональности. Это всё тот самый нескончаемый спор холистов с редукционистами, идеалистов с материалистами, верующих с неверующими.

Моих две копейки: разум не есть механическая совокупность свойств. Если даже вы их обеспечите, то это ещё не значит, что разум вдруг возьмёт и появится. Природе ведь всё равно, что такое "истинно". И это не я выдумал. Как сказал атеист Алекс Розенберг, выступающий с позиций сциентизма в философии: No clump of matter is about any other clump of matter. Это верно, но лишь за исключением случаев дизайна сложных и специфичных систем, где эта aboutness достигается введением граничных условий на движение материи в системе. Отсюда видно, кстати, что логика несводима к движению материи и должна постулироваться дополнительно: каналу передачи "параллельно", что по нему передаётся — истина или ложь, небезразличными к этому могут быть лишь агент и созданный им сложный функциональный артефакт, работающий в специально сформированном прагматическом контексте.

Безжалостный факт заключается в том, что в основе больших языковых моделей лежит стохастика. Именно поэтому они легко ошибаются, если обрабатывают запросы, достаточно сильно отличающиеся от распределения, на котором они обучены.