生成式 AI 的信息信任困境：四大结构性缺陷解析

Geo 创始人 Yaniv Tal 指出，当前 AI 系统输出的不可靠回答，其根源在于训练数据中长期存在的四类系统性缺陷：原始信息来源缺失、权威性被均质化处理、观点分歧被隐匿，以及错误内容在模型间反复传播并自我强化。

信息流断裂导致源头不可追溯

当网络内容在多层页面间被抓取、转述与再发布后，其原始出处往往彻底消失。这种信息流动过程使得模型仅能获取陈述本身，却无法识别其真实背景或责任主体，从而削弱了对主张可信度的评估能力。

权威标准模糊引发权重误判

在缺乏元信息的情况下，一篇学术论文、一份企业公告与匿名论坛发言可能以相同形式进入训练集。这导致模型难以区分不同证据等级的内容，进而将高可信度材料与低可信度信息等同对待，造成判断偏差。

竞争观点被压缩为单一结论

语言模型倾向于将相互对立的专业意见整合成一个统一回答，掩盖了专家之间的实质性争议。这种“去分歧”处理方式使用户误以为存在共识，实则忽略了可能存在合理替代解释的事实。

合成内容循环放大认知偏差

由模型生成的内容被再次用于训练后续模型，形成闭环反馈。错误信息一旦进入该循环，不仅不会被清除，反而因重复传播而不断强化。研究显示，这种迭代训练可能导致系统逐渐偏离原始数据分布，出现所谓的‘模型崩溃’现象。

人类判断成为稀缺验证资源

Geo 提出将主张、来源与支持证据分离的架构设计，构建可追踪的知识图谱。通过记录论点间的逻辑关系——如支持、反驳或回应——实现竞争观点的可视化呈现，同时保留所有原始贡献。

该系统基于 Aragon OSx 治理框架运行，采用 GRC-20 标准将结构化知识上链，支持跨空间检索与验证。成员可通过参与特定领域讨论积累声誉，编辑权限则需经过申请与社区审核。

去中心化治理面临身份挑战

尽管系统强调开放协作，但如何防止恶意参与者创建多个身份操控投票与排名仍是核心难题。目前探索路径包括生物识别认证、社交信任网络及零知识身份工具，但每种方案均在隐私保护、抗攻击性与可用性之间权衡。

Tal 强调，只有具备公开历史记录的贡献者才能获得更高权重，避免匿名内容与有迹可循主张享有同等地位。

链上数据与人类解释需明确区隔

在加密货币领域，区块链可验证交易发生与否，但无法说明资金用途、控制方身份或行为动机。因此，项目公告、市场预测和代币变动分析必须独立于链上记录进行标注。

Geo 倡导将每一项主张绑定至具名贡献者，并永久保存其历史版本，即便后期被证实错误亦不删除，以维护知识演进的透明轨迹。

官方指南呼应溯源与人工审查需求

美国国家标准与技术研究院（NIST）在《生成式 AI 概况》中建议组织追踪训练数据来源，建立内容溯源机制，并引入领域专家与受影响群体参与评估流程。

内容来源与真实性联盟（C2PA）推出的加密签名凭证，可用于验证数字资产的创作与修改历史，但仅确认关联性与完整性，不保证内容本身的准确性。