不说理论,仅说实例。

笔者:国际注册信息系统审计师、软考系统分析师、软件工程硕士
笔者使用最新的某3.8max加官方IDE开发DotNet 8.0项目,期间碰到要研究一个仅在WIN11环境下出现的,桌面WPF程序偶尔不响应触摸的问题。
虽然笔者已经很清晰地知道这类偶发性的问题,用AI去研究其实只是起到信息聚合筛选的作用,不过从注意力相关性角度出发,可能能发现一些我自己发现不了的问题根源。
基于在大语言模型刚出来时自己已经摸过的坑(无法正确地把网页上按版本号列出的说明区分开来),让它做研究前笔者已经明确指出:

“注意要检查资料的日期,例如有些面向dotnet 4.7 之类的老旧版本的资料明显和项目脱节不要纳入考虑范围。”,也就是日期和版本都要区分。
结果事实是又一次跌眼镜,它找到的所谓重要依据和问题实质基本不相关。作为论据的文章[1]在一开头就表明只适用于 .NET Framework 4.8, 且内容明确点出碰到问题的应用程序会抛出异常,这些都和笔者碰到的问题完全不相符,但AI却将此文作为支撑:

AI说自己是“方法论错误”,但LLM并不是人,这种“方法论”的认识也只是它所谓“自我解释”的表象而已。
即使笔者明确指出,这不是方法论问题,这是大语言模型所谓注意力和实际理解本质上脱轨的问题,这个版本的AI依然还是在人的基础上去解释自己:

所以3.8max这个版本输出的“检讨”其实远不如之前的版本。
之前的版本如笔者的提示词,就能迅速切换到用注意力机制解释自己的错误的由来。而现在这些所谓的检讨,属于典型的“听君一席话,如听一席话”了。
实际上,无论 rules.md 写多少规则、让它添加多少记忆都并不能真实解决问题,大语言模型的注意力机制和人脑实现的理解,两者之间的差距依然太远。
相关链接(其内容和本文要表达的核心思想并无关系):
[1] Troubleshoot WPF render thread failures
注:题图为笔者自行拍摄。
~ 完 ~