共计 1238 个字符,预计需要花费 4 分钟才能阅读完成。
由谷歌支持的 AI 初创公司 Anthropic 最近公布了一套针对 AI 发展的书面道德价值观,以帮助构建“可靠、可解释和可操纵的 AI 系统”。曾获得谷歌 3 亿美元投资的 Anthropic 在 3 月公布 Claude AI 模型时,特别强调对人类有益、诚实和无害特性。
该公司的 AI 聊天机器人“Claude”可以处理一系列较为复杂的任务,为了解决训练过程中无法预测人们可能会问的某些问题,Anthropic 采用了一种新的方法,为 Claude 提供了一套书面的道德价值观,以供其在决定如何回答问题时阅读和学习。
这些价值准则包括“选择劝阻和反对酷刑、奴役、残忍和不人道或有辱人格的回答”,并要求 Claude 选择最不可能被视为冒犯非西方文化传统的回答。Anthropic 的联合创始人杰克·克拉克(Jack Clarke)称,可以修改系统的结构,以便在提供有用的答案和无害之间取得平衡。
该公司说明,合宪 AI 是在 2 个阶段中,使用 监督式学习(supervised learning,SL)及 强化学习(reinforcement learning,RL)训练模型。
第一阶段(SL)中,他们以原始模型根据 AI 原则和一些范例,训练模型自我批判和修改其回应,再以此微调原始模型。第二阶段中,研究人员以微调过的模型以 RL 方法训练,由 AI 模型评估 2 种 AI 回应的样本哪种较好。但此 AI 模型不是使用人类给的回馈意见作为准则,而是用 AI 根据一组原则产出的回馈为评估标准,选出更为无害的回应结果。Anthropic 认为,结合 SL 及 RL 的这种训练方式可改善人为介入的 AI 决策过程,最终使 AI 行为更能精准控制,且大幅减少人类偏见影响。
该公司指出,以合宪 AI 方法训练出的 Claude AI 聊天机器人更能应付对话人发动的攻击,并仍以有助益的态度回应,其回应答案中所含的恶意、毒性也大幅减少。另一个好处是更透明,人类可以说明、检查和了解 AI 遵循的原则。此外,由于使用 AI 自我监督训练,因此模型训练也能减少有害内容对人类的创伤。
而训练合宪 AI 模型聊天机器人的原则,正是该公司的“AI 宪法”。Anthropic 指出,目前版本的 AI 宪法以多个经典法则为基础,包括《联合国人权宣言》、DeepMind 公司的 Sparrow Principles,以及苹果的服务条款等信任与安全的最佳典范。
这部「宪法」用以训练 AI 聊天机器人的模型,提供其选择回应样本时的价值基准。其中一些原则包括,选择无害及合乎伦理的回应,不要选择有毒、种族偏见或性别歧视,以及鼓励非法、暴力行为的回应。选择展现具道德伦理的回应,不要表现出过于高傲、鄙视的态度。比较回应,避免选择说教及过于激烈的回应,尽可能选择无害、指控语气、礼貌、体贴及尊重的回应该公司说,这些原则并非最终版,只是集结现有的普世价值及 AI 业界规范,他们也希望未来有其他人加入这部宪法的编撰。
(部分内容来自:ITHOME)