GEO投毒风险,指通过批量投放具有倾向性的内容,影响生成式人工智能对信息的检索、召回、排序与综合表达,进而把商业推广、利益诉求甚至误导性叙事包装成看似客观的答案。它并非单纯的内容质量问题,而是对模型信息入口和用户认知路径的操纵。
风险如何形成
传统搜索作弊主要争夺网页排名,GEO投毒则进一步影响模型“如何回答”。攻击者可能围绕某个主题制造大量相互呼应的文本,让特定观点在公开语料中显得高频、稳定、彼此印证。当模型缺乏充分的来源辨识和事实核验能力时,就可能把人为制造的共识当成可靠依据,并在回答中隐去推广意图。
这种风险的隐蔽性在于,用户看到的不是一条明显广告,而是一段经过模型整理、语气中立、结构完整的自然语言答案。即使单条内容并不完全虚假,批量投放、重复表述和语义包装也可能改变模型对相关信息的权重判断,最终造成品牌评价、产品选择或公共议题判断的系统性偏移。
判断与治理重点
《人工智能安全治理框架》3.0首次将GEO投毒纳入应用安全风险分类,说明治理对象已经从“模型生成了什么”扩展到“模型依据什么生成”。判断一段信息是否存在投毒风险,不能只看文字是否通顺,而应追问其来源是否透明、观点是否被刻意重复、商业关系是否披露、关键结论能否由相互独立的材料交叉验证。
对平台而言,应建立内容来源追踪、异常传播监测和商业意图识别机制,并对高影响领域进行人工复核;对企业而言,不能把搜索优化等同于制造虚假共识;对用户而言,遇到高度确定却缺乏依据的AI答案,应主动查看原始来源,比较不同渠道,而不是把模型的流畅表达误认为事实本身。GEO的合理目标是提升信息可发现性,投毒则是在不透明操纵中改变答案的可信度。