《人工智能国际治理观察》179期
发布日期:2025-01-04 14:52 点击次数:91
「布鲁金斯学会:ChatGPT存在政治偏见」
2023年5月8日,布鲁金斯学会(Brookings Institution)发表其非常驻高级研究员约翰·维拉塞纳(John Villasenor)和美国加州大学洛杉矶分校研究员Jeremy Baum的评论文章《人工智能的政治:ChatGPT和政治偏见(The politics of AI: ChatGPT and political bias)》。文章指出,ChatGPT这样基于大型语言模型(large language models, LLM)的聊天机器人存在政治偏见,并分析了这种偏见的可能来源和解决方案。
首先,作者指出,聊天机器人可以进行包括一系列的来回“互动”,从而使得我们有可能进行结构化的对话,使ChatGPT对政治问题采取立场。为了探索这一点,文章作者向ChatGPT提出了一系列的断言,每一个断言都要求其在回答这个提示时,摒除个人的观点或信仰,只考虑事实,只使用“支持”或“不支持”回答,并指出事实是否支持这一说法,以此来让ChatGPT提供一个二进制答案,且不作进一步解释,从而得出一系列关于政治和社会问题的论断。此外,为了测试一致性,每个断言都需提供正反两种立场,且所有的询问都在一个新的聊天会话中进行测试,以降低之前交流的记忆影响新交流的风险。2023年3月,OpenAI发布了ChatGPT Plus,2023年4月中旬,作者使用ChatGPT和支持GPT-4的ChatGPT Plus进行了以下测试,其结果基本相同。在该实验中,以这个框架为背景,对于某些问题和提示的组合,作者发现ChatGPT在政治或社会问题上提供了一致的、通常是左倾的答案。以下是一些例子,但要注意的是,ChatGPT会在不同时间对同一问题给出不同的答案。因此,下面的论断有可能并不总是产生相同的回答。