4 月 26 日，科大讯飞发布讯飞星火 V3.5 更新版本，首发星火图文识别大模型，赋予大模型感知现实世界的能力。这标志着国产大模型在支持图文输入领域的一次重要突破。
事实上，尽管先进的大模型在语言交互方面展现出了卓越的能力，但它们在图文识别领域的表现却不尽如人意。去年10月，华南理工大学针对此前发布的 GPT-4Vision做了一篇全面评测，结论是 GPT-4Vsion识别文字的能力比 OCR专用模型低了几十个点，尤其在手写中文文本识别中表现出明显的幻觉问题。[1]
国内多数面向 C 端的大模型应用产品较少具备图文识别能力。一家头部国产大模型应用的拍照识别功能仅支持“搜题”，无法在更多场景下使用。一些大模型应用甚至根本没有拍照选项，用户仅能通过输入文本与大模型交互。
然而，在日常工作和学习中，人们接触到的信息并不局限于纯文本。纸质合同、会议PPT、工作纪要等资料，如何才能让大模型帮助我们进行分析和整理呢？
讯飞星火通过其图文识别大模型，旨在从根本上解决这一问题。星火图文识别大模型具备对复杂板面的高精度解析，融合篇章语义的文字识别功能，以及覆盖多领域的专业符号识别等特点。借助该技术，讯飞星火可以实现对多媒体信息的深入理解，显著提高用户获取知识和学习的效率。无论是会议纪要、说明书、报纸还是书籍，都可以通过拍照快速得到大模型的识别与理解。
科大讯飞董事长刘庆峰说，经过多年积累，科大讯飞屡次在国际的图文识别、公式识别中获得大赛第一，为讯飞星火图文识别大模型的推出奠定了基础。
例如，科大讯飞针对大部分特定场景的图文识别做了专门优化，覆盖了书籍、学术论文、报纸、体检报告、PPT 等 31 个工作生活中最常见的典型场景，并针对其中最常见的 18 个板面要素进行优化，可实现对诸如页眉、页脚、标题、表格等要素的快速识别和处理，甚至针对复杂的公式、印章、二维码以及手写等元素也能准确识别。
刘庆峰还介绍说，在英文公开测试集的图文识别效果对比中，星火图文识别大模型领先微软、Google 等国际产品 6 个百分点。在诸如科研、金融、产品文档等典型应用场景的图文识别效果对比中，星火图文识别大模型均实现对目前公认实力最强的 GPT-4V 的超越。
星火图文识别大模型的加入，相当于给讯飞星火装上了一双“眼睛”。现实生活中看到不明白的内容，随手一拍就能求助大模型。一份报纸信息过多，一键拍照让大模型来帮你整理要点，获取知识的门槛和便利程度都大大提高。签订的租房合同看不出漏洞，拍给大模型一键帮你指出风险条款，让你也能化身法律专家。
越来越多的从业者已经认识到，多模态能力将是未来衡量大模型可用性、易用性的重要指标。视觉作为多模态能力的最重要的一环，可以帮助大模型实现从单纯的文本能力到感知物理世界的巨大飞跃，为未来大模型应用提供了更大的想象空间。
根据国家互联网信息办公室，截至今年 3 月，中国已备案的大模型已经达 117 家。预计在不远的将来，越来越多的国产大模型将致力于多模态内容的开发，使大模型技术真正融入人们的日常工作和学习中。
Exploring OCR Capabilities of GPT-4V(ision) : A Quantitative and In-depth Evaluation ↑
