据美联社报道，软件工程师、开发人员和学术研究人员对OpenAI的Whisper转录工具表示严重关切。尽管生成式AI的幻觉倾向（即编造内容）在其他领域已经引起广泛关注，但在转录领域出现这一问题仍然令人意外。转录工具通常需要高度准确地记录音频内容，因此任何偏差都可能导致严重后果。
主要问题
- 幻觉现象：
- 种族评论：Whisper在转录中引入了种族敏感内容。
- 想象中的医疗治疗：在医疗环境中，转录工具误报了不存在的治疗方法。
- 公共会议：密歇根大学的研究人员发现，每10个音频转录本中有8个存在幻觉。
- 大规模数据分析：一位机器学习工程师研究了超过100小时的Whisper转录本，发现其中超过一半存在幻觉。
- 大规模转录：一位开发人员报告说，在他用Whisper创建的近26000个转录本中，几乎所有的转录本都存在幻觉。
- 潜在影响：
- 医疗环境：在医院和其他医疗环境中，不准确的转录可能导致误诊或错误的治疗建议，后果可能非常严重。
- 法律和合规：不准确的转录可能影响法律程序和合规记录，导致严重的法律后果。
- 公共信任：频繁的幻觉现象可能损害公众对AI技术的信任。
OpenAI的回应
OpenAI的一位发言人表示，公司正在“不断努力提高我们模型的准确性，包括减少幻觉”。他们还强调，其使用政策禁止在“某些高风险决策环境中”使用Whisper。发言人补充道：“我们感谢研究人员分享他们的发现。”
未来展望
- 持续改进：OpenAI需要继续投入资源，改进Whisper的准确性，特别是在关键领域如医疗和法律。
- 透明度和合作：OpenAI应与学术界和工业界合作，增加透明度，共同解决幻觉问题。
- 用户教育：提高用户对AI工具限制的认识，确保他们在适当的情境下使用这些工具。