站长连夜实测 Step-5-Preview:高智商不等于不胡说
站长连夜实测 Step-5-Preview:高智商不等于不胡说
热度归热度,实测归实测。Step-5-Preview 这两天被各路评测者捧得很高,站长连夜上手测了一轮——结论先放这里:至少在金融分析这个行当里,它没有传说中那么好。
第一个问题:幻觉突出
现象:测试过程中,S5 会非常自然地"编造"不存在的东西——数据、事实、结论,语气笃定,形貌逼真,不懂行的人很难一眼识破。
为什么会这样:模型智商高,语言组织能力强,所以它的幻觉不是低端模型那种明显的胡言乱语,而是"高质量的幻觉"——错误被包裹在流畅、专业、看似严谨的论述里,更难被察觉。
后果是什么:金融分析对事实准确性的要求是刚性的。一个会自信地编造数据的模型,放进分析链路里就是定时炸弹——分析得越漂亮,错得越隐蔽。
第二个问题:纠正之后依然出问题
现象:不像低端模型那样一错到底,S5 在被指出错误后确实会改。但实测中发现,即便用 6.1 Sol 去纠正它,纠正之后仍会冒出新的问题,按下去葫芦起了瓢。
为什么会这样:纠正解决的是"这一处错",而模型产生幻觉的倾向没有变。高智商模型的问题恰恰在于它的自由度太大,想法太多,你堵住一个出口,它从另一个口子又冒出来。
后果是什么:意味着它不能独立承担分析任务——必须搭配一个低幻觉的模型做纠正与把关,链路成本和复杂度都上去了。
站长的定位
综合实测,站长把 Step-5-Preview 和 DeepSeek V4.1 Flash、GLM-5.3 Flash 定义在同一个级别。这个定位不是贬低——这个级别在日常任务上完全够用——但如果要用于金融分析行业,我的结论是:不适合,至少不能裸用。必须由低幻觉模型来纠正和把关,否则幻觉问题会在金融场景里被放大成实打实的风险。
顺便多说一句:这个问题对所有"聪明"模型都成立。智商高并不代表它不胡思乱想。评测一个模型,不能只看它答得多漂亮,要把它放在你要用的那个行业里,看它错的时候错得有多隐蔽、纠正之后还冒不冒新错。
不管评测什么模型,一定要把它放在整体的应用角度上去分析去考量,这样得出来的反馈才是铁打的反馈。
本文为 TPEOL 站长的个人评测记录,仅代表站长本人的使用体验与个人看法。