OpenAI语音转录工具Whisper被曝重大缺陷:凭空生成大段虚假内容
Posted Time: 2024 October 28 09:32
Authorelectronics workshop
IT之家 10 月 28 日消息,当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容。
这些专家指出,这些生成的文本(IT之家注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议。
Image 2
专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。
更具风险的是,尽管 OpenAI 已提醒不应在“高风险领域”使用该工具,但一些医疗机构仍在匆忙采用基于 Whisper 的工具来记录医生与患者的咨询记录。
报道称,研究人员和工程师在工作中经常遇到 Whisper 的“幻觉”现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容。
一位机器学习工程师透露,在最初分析的超过 100 小时 Whisper 转录中,他发现大约一半的内容存在“幻觉”现象。一位开发人员进一步指出,在他用 Whisper 生成的 26000 份转录中,几乎每一份都带有虚构内容。
即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的 13000 多段清晰音频片段中,有 187 段出现了“幻觉”现象。
研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。
OpenAI 的发言人表示,该公司持续研究如何减少幻觉,并且感谢研究者的发现,将会在模型更新中采纳反馈。
Products
Bincial APPUser Dashboard
About Us
COMPANY PROFILEJoin us
User Agreement
Privacy Policy
CONTACT US
Collab:135-8566-0971
Support:021-61673695
Link:support@bincial.com
Addr.:Lane 1220, Yuqiao Road, Pudong New Area, Shanghai
DownloadAPP
Channels
WeChat
WeChat
Douyin
Kuaishou
Copyright© Shanghai Bozhi Technology Co., Ltd. Shanghai ICP No. 2023012989-4