揭示生成式AI不可信的深层机制：四项核心缺陷解析

Geo创始人Yaniv Tal剖析了当前大模型输出不可靠的根本原因，认为互联网内容在传播过程中经历的多重转述导致关键背景信息流失，使模型难以识别原始来源与证据层级。

训练数据中的权威性模糊化问题凸显

当研究论文、企业公告与匿名网络帖子以相同文本形式进入模型训练管道时，其内在可信度差异被抹平。这使得模型无法区分高阶学术论证与未经验证的社群言论，进而将不同标准的信息视为等权重内容。

竞争观点被压缩，真实争议被掩盖

语言模型倾向于将相互对立的立场整合为单一结论，从而隐藏专家之间存在的实质性分歧。这种处理方式向用户呈现一种看似确定的回应，却未体现潜在的合理替代观点，误导认知判断。

合成内容循环加剧错误扩散风险

由模型生成的内容不断作为新训练数据回流，形成自我强化的错误闭环。一旦初始偏差存在，便可能随迭代放大，最终导致系统偏离原始数据分布，甚至出现‘模型崩溃’现象——即生成内容与真实世界渐行渐远。

人工判断在信息过载时代成为稀缺资源

面对海量机器生成内容，人类对真实性负责的能力正被严重稀释。尽管自动化工具可辅助分析，但关键决策仍需依赖具备领域专长的人类评估者，以确保主张有据可依且可追溯。

构建可见的争议结构以实现理性排序

Geo提出将论点、支持证据与贡献者身份解耦，通过可视化关系图谱展示各主张间的支持、反驳或回应逻辑。该机制允许在保留多元观点的前提下，依据论证强度进行动态排序，避免陷入无差别的意见洪流。

基于社区治理的知识空间设计实践

Geo采用独立“空间”架构组织知识，覆盖加密货币、健康、教育等六大领域。成员可提交内容并参与讨论，而经认证的编辑则负责审核来源、建立连接，并在开放的知识图谱中添加结构化节点。

链上记录助力主张与事实分离

在区块链场景中，交易本身可验证，但资金流向背后的行为意图、控制权归属及项目前景解释仍属主张范畴。Geo强调必须将这些推断性陈述与可验证数据区分开来，并附着于具名贡献者，即使后续被证伪也保留在历史记录中。

外部规范推动溯源与人工介入

美国国家标准与技术研究院（NIST）建议追踪训练数据来源，并引入专家反馈机制。内容来源与真实性联盟（C2PA）亦推出加密签名凭证，用于验证数字资产的创作与修改轨迹，但不担保内容本身的真实性。