Исследование выявило когнитивные ограничения у ведущих чат-ботов

Исследование, опубликованное на Medical Xpress, выявило когнитивные ограничения у ведущих больших языковых моделей (LLM), подобные симптомам деменции, сообщает РБК.

Тестирование по Монреальской когнитивной шкале показало, что ChatGPT 4o (OpenAI) набрал 26 баллов из 30 (норма выше 26), ChatGPT 1.0 (Google) – лишь 16 баллов. LLM продемонстрировали значительные трудности в заданиях на зрительно-пространственное мышление, запоминание и воспроизведение последовательностей.

Хотя модели хорошо справились с простыми задачами на распознавание и абстракцию, сложные тесты, например, интерпретация изображений или тест Струпа, оказались им не под силу. Только ChatGPT 4o успешно прошел тест Струпа.

Авторы исследования указывают на потенциальные ограничения применения LLM в медицине и поднимают вопрос о необходимости «лечения» когнитивных нарушений у самих нейросетей.

Ранее ITinfo сообщало, что «Ростелеком» завершил масштабный проект по цифровизации образования в Томской области.