在今年的3月中旬，OpenAi在GPT-4的发布会上表示，在未来GPT-4的应用层中将加入“图片识别理解能力”，旨在让GPT-4更好地认知现实事物，同时结合LLMs的优势理解产出相关文字内容，这一功能看上去非常酷，但OpenAi迟迟没有让这一功能上线公测，就在大家都怀疑是OpenAi在画饼，在做“PPT产品”的时候，一款名为“BeMyEyes”的应用打了质疑者的脸。

GPT-4发布会上所提及的“GPT笑话理解图”

(相关资料图)

“BeMyEyes”是一款老应用了，于2015年发布，由丹麦开发人员HansJørgenWiberg创建。其是一款免费的移动端App，旨在帮助视力受损和盲人用户进行日常活动。这款应用充当视力受损人士与志愿者之间的桥梁，允许他们通过实时视频通话请求帮助。志愿者可以帮助解答各种问题，如阅读标签、识别颜色、找到物品等。

“BeMyEyes”官网介绍 https://www.bemyeyes.com/

其充分利用了手机摄像头作为视觉障碍者的眼睛，如果某个志愿者收到请求却正忙于其他事情无法回应，该应用会自动将请求转发给其他可用志愿者，确保视力障碍用户能够第一时间得到帮助。截止2023年3月，该应用已经有了50万的视觉障碍者用户以及640万视力正常的志愿者，服务比高达12.8:1。

支持多达150个国家与180种语言，也支持中文

可是由于人与人沟通的心理压力障碍、交流障碍等种种原因，部分视觉障碍者还是没有接受该软件的解决方式，认为使用“BeMyEyes”意味着与陌生人共享个人信息和生活场景。这可能让一些视力障碍者感到危险，担心自己的隐私和安全。同时，部分视力障碍者可能会认为向他人寻求帮助会降低他们的自尊。他们可能觉得，通过应用程序请求帮助意味着承认自己的弱点和不足。

Ai绘画丨孤独沮丧的盲人

这些因素让“BeMyEyes”的推进遇到了瓶颈，直到Ai的火爆。在2022年GPT-3.5模型发布之时，其强大且难以置信的理解力就震惊了全世界，这个将人类2021年9月前的所有文明当作自己数据库的LLMs（大型语言模型），拥有着史无前例的Ai创造力。

“BeMyEyes”的创造者Wiberg在2023年2月就与OpenAi接洽，获得了GPT-4模型中的“图像理解生成技术”，通过该技术其推出了一项名为“虚拟志愿者”的新功能，该功能由OpenAI的GPT-4语言模型驱动。通过整合GPT-4的图像识别和文字生成技术，虚拟志愿者可以为视力障碍者提供更为深入的实时视觉辅助。用户可以通过应用发送图片，虚拟志愿者会对图片进行解析，并提供相关信息帮助。

“BeMyEyes”官网介绍 https://www.bemyeyes.com/

从原理上讲，GPT-4模型实现图片理解功能的关键在于其图像识别和文字生成技术。首先，模型接收到用户上传的图片，对图片进行分析和识别，提取关键信息。在这一过程中，模型需要具备对不同物体、颜色、形状和场景的识别能力。然后，模型将识别到的信息转换为自然语言描述，与用户的问题相结合生成有针对性地回答。在此阶段，模型需要理解上下文信息并具备良好的对话能力，以便生成有用的建议和指导。

Ai绘画丨Ai图像识别示意图

在实际应用中，当用户拍下电视机的照片，并语音询问Ai，电视里在播放什么时，Ai即根据电视内容进行了回复“Basedonthepictureprovided,itappearsthattheTVisdisplayingavideogamecalledFortnite.根据提供的图片，电视似乎正在显示一款名为《堡垒之夜》的电子游戏。”同时还可以转换成西班牙文。

“BeMyEyes”官网介绍 https://www.bemyeyes.com/

在另一个案例中，带有Ai图像识别的虚拟志愿者，可以轻松帮助用户找到不同颜色的条纹衬衫，并告知用户其他衬衫的颜色。

“BeMyEyes”官网介绍 https://www.bemyeyes.com/

来自美国的LucyEdwards是一名失明了将近10年的盲人女孩儿，虽然眼睛看不见了，但她仍然保持着对生活的热爱，她是一位内容创作者和残疾活动家，以她的《盲女如何生活》系列和旅行视频博客生活等而广受欢迎，她拥有来自世界各地近百万的粉丝。在今年，她也成了“BeMyEyes虚拟志愿者”的内测人员。

图片源自于网络

到目前为止，她用这款工具帮助她阅读时尚目录，将中文成分翻译成英文，搜索网上食谱，为她自己的照片库中的图片编写代替文字，还帮助她阅读餐厅菜单。Edwards还展示了将虚拟志愿者用作私人教练和伦敦地铁导游的潜力。

图片源自于网络

Edwards表示Ai可以赋予视觉障碍者更高程度的自主性和私密性。AI技术使他们能够依赖个人设备独立完成各种任务，实现真正的自主，并且避免了与陌生人沟通所带来的尴尬和隐私问题。

图片源自于网络

当我们还在对Ai的技术归属与版权问题争论时，世界上已经有许多平时不会被关注、了解的人们开始让Ai技术更好地服务于他们的生活，比如视觉障碍者、听力障碍者或者语言障碍者，对于他们来说Ai技术似乎没有“强烈的威胁性”，而是真真实实地让他们感受到了科技进步的力量与便捷。

目前希尔顿、微软、宝洁、索尼加入到了BeMyEyes的虚拟志愿者测试中

对于AI技术，我们应该保持开放和包容的态度，鼓励创新与发展。但同时，要确保AI技术的安全，我们还需要关注潜在的伦理问题、隐私问题以及技术滥用的可能性。AI技术如同达摩克利斯之剑，它既可以为我们带来极大的利益，也可能导致无法预料的危险。因此，在积极推进AI技术的广泛应用时，我们需要不断审视其影响，以确保技术发展的可持续性和公平性。

Ai绘画丨一个机器人正在帮盲人过马路