10月28日消息,据报道,OpenAI旗下的AI语音转写工具Whisper被曝存在严重缺陷,竟会无中生有地创造大段乃至整句的虚假信息,这一消息引起了广泛关注。
尤为引人注目的是,有医疗机构公开承认采用了Whisper来记录医生与患者间的会诊内容,此举迅速在网络上掀起了轩然大波。
目前,包括美国明尼苏达州曼卡托诊所、洛杉矶儿童医院在内的众多医疗机构,已有超过30000名临床医生和40个卫生系统开始使用法国AI诊疗公司Nabla基于Whisper开发的工具。
然而,值得注意的是,OpenAI此前已明确发出警告,指出Whisper不宜在“高风险领域”内应用。
一位机器学习工程师在初步分析超过100小时的Whisper转录数据时,惊人地发现其中约有一半的内容存在“幻觉”现象,即转写内容与原始语音严重不符。
关于Whisper这一严重缺陷的具体成因,目前仍不得而知。但有软件开发者推测,这些虚构内容的产生往往与语音中的停顿、背景噪音或音乐播放等因素有关。
针对此问题,OpenAI方面表示,公司正在积极研究如何有效降低虚构内容的产生,并对研究人员的发现表示感谢。同时,OpenAI还承诺将在后续的模型更新中融入相应的反馈机制,以期进一步提升转写的准确性和可靠性。