7月3日,搜索引擎的求变信号,比以往任何时候都要强烈。
先是谷歌推出AI snapshot,让搜索结果不再只是“10条蓝色链接”,还加上了AI智能总结;很快百度也把“AI伙伴”嵌入搜索引擎,通过对话就能得到问题解答。
不过,这些都还只是针对外部搜索。
对于移动端来说,“内部搜索”需要也正在同步发生改变。
内部搜索,相比于搜索外部世界知识,是把用户个人信息当成一个巨大知识库的搜索技术。
不同于谷歌和百度,这种搜索引擎更像是用户的“第二大脑”,能从拍摄过的照片、下载过的文件中精准找出所需的个人资料。
但无论哪种搜索,对于智能化要求都很高,甚至需要借助千亿参数级别的大模型实现。
以从手机中找一张照片为例。以前我们的操作习惯可能是翻个10分钟相册,从几百张表情包或是几千张照片中找到想要的那张(甚至找不到)。
但在搭载HarmonyOS 3.1的华为P60系列和Mate X3手机上,现在只需用自然语言描述想找的照片特征,系统就能高效识别、并给出相关图像。
不仅能理解整体语义,如在图库输入“山顶看日出”——
就连更精细的时间、地点描述也能快速get到,如语音唤起小艺搜索“去年在长白山滑雪的照片”:
最关键的是,这种堪比大模型语义理解的搜索方式,直接在端侧就能实现,无需将数据上传到云端处理。
换而言之,即使手机开飞行模式,这种内部搜索也照样能进行。
所以,这个新出的图片搜索功能究竟有啥特点,率先把它部署到端侧的华为又做了什么?
华为智慧搜图长啥样?
此前,在手机上搜索图片主要有两种方式。
一种相当于“换皮”的文件搜索,用户不仅得准确回忆起具体时间、拍摄地址等信息,甚至得精确到文件名:
另一种则是依靠分类AI做的图像识别功能,但这种搜图也只能通过某些场景关键词描述缩小搜索范围,例如风景、美食、人像等。
显然,这两种方法都还停留在“信息匹配”阶段,支持的标签数量也有限,一旦搜不出来,最终还是得回到手动翻照片流程上。
这是因为,我们不仅习惯用自然语言描述图片内容,而且描述的内容不限定某个名词,还可能是动词、场景、代词等。
要想做到搜索“记忆中”的个人图片,AI模型不仅得听得懂人话,还要能提取人话中的细粒度标签,并将之对应到图片上。
现在,华为最新的智慧搜图,就很好地实现了这两大功能。
除了可以直接搜名词找图片,还可以用任何短描述词来形容图像,如桌面下拉在智慧搜索中输入“奔跑的”,系统就能自动搜出相册中奔跑的各种人像,快速给出推荐:
如果感觉搜出来的范围还是太大了,还能随时增加信息标签,如“奔跑的”变成“奔跑的小狗”,立刻就能找到想要的图像:
当然,不止能添加一两个标签。如果你想,还可以灵活地细化描述,如加上时间、地点、人物、语义等各种复合标签,像“前年冬天和女朋友去内蒙古拍的各种好吃的”等。
体验过华为智慧搜图后,最直观的感受应该就是“AI理解力”和“响应速度”了。
相比传统的文件搜索、或是AI图像识别方法,华为智慧搜图主要实现了图片搜索功能的两大“跃迁”:
其一,“人话”解读能力。传统图像AI往往按“时间”、“地点”等概括词分类,而智慧搜图不仅能单独搜词分类,甚至还能放一起搜,如“去年在动物园拍的老虎”等。
其二,高效搜索速度。相比动辄翻上十几分钟半个小时的相册,现在无论从桌面下拉智慧搜索、打开图库、或是用小艺语音,都只需要一句话就能搜到想要的图片,系统级地提升了找信息的效率。
虽然听起来只是手机等移动端搜索功能上的一个小突破,然而在华为之前,端侧却没有一个厂商能够解决这个难题。
究竟是什么技术这么难实现?
技术上突破了什么难点?
事实上,无论是大模型的语义理解能力,还是搜索引擎的响应速度,都并非计算资源极其有限的端侧所能承受。
因此,之前大部分搜索引擎和大模型相关APP解决“上线到移动端”的唯一办法,是将模型计算量分配到云端,解决资源不够的问题。
但这势必意味着,数据处理要在云端进行。
具体到技术细节来看,又有三大难点:
其一,压缩多模态大模型并确保精度。这并非简单用剪枝或量化等方法,直接压缩几倍模型大小就能搞定。毕竟对于端侧而言,算力有限的情况下,能部署的模型大小是往往只能达到大模型的几十分之一。
其二,搜索所需功耗随着数据增加逐渐增大。对于端侧搜索引擎而言,面对不断更新的照片、文件等数据,只能将索引重新写一遍,这势必导致大量新的计算开支。
其三,模型更新等面临的云端协同问题。虽然AI模型最终部署在端侧,但无论是模型效果迭代、更新,训练还是得在云端进行,最终再下发到端侧,这势必要求厂商同时具备云端两方面的技术。
因此,对于数据隐私极为敏感的内部搜索而言,这两类技术想要布局到端侧上非常难。此前的“折中”方法,最多也就是将图像分类AI这种“小模型”布局到端侧,实现简单的智能搜图。
所以,华为究竟是如何解决这些难点,同时又最大程度上保留大模型“理解人话”效果和搜索响应速度的?
简单来说,华为在AI模型和搜索引擎两方面,都自研了对应的技术。
一方面,华为专门为端侧自研了轻量级的多模态语义理解模型,能够在不损失精度的情况下,将大模型缩小几十倍。
首先,用多模态语义表征模型将不同模态输入转变为语义向量,结合多模态语义对齐算法模型对齐文本和图片的语义信息,结合华为内部的海量高质量数据,提升召回率。
然后,依靠轻量化部署技术,在端侧实现高精度检索,同时确保数据留在本地,提高隐私安全保护。
另一方面,华为又使用索引分段、定期压缩合并等方式,成功将检索引擎“塞”进了移动端中。
检索引擎部署到端侧的核心难点,是云侧离线构建索引的方式在端侧无法实现。
为了解决这一问题,华为先通过采用索引分段,减少单次落盘时间,并通过定期压缩合并的方式,释放已删除数据占用的内存/磁盘资源,以降低所需的存储空间;
随后,又通过定义索引的格式,将地点、时间等信息作为索引的一部分,快速实现检索条件过滤,并返回和查询语句最相关的结果,相比数据库检索能提升十几倍效率。
△几乎不需要计算时间
不过,耗费这么大的技术资源,去实现移动端一个看似很小的“搜图”功能,华为这样做的目的究竟是什么?
为什么要做智慧搜图?
直接原因当然是手机用户——也就是你我,真的很需要这个功能。
试问谁没有经历过,因为找一张图片而需要化身福尔摩斯展开缜密分析的场景:
“我上一次看到这张图是什么时候”、“它是什么时候存的”、“那天我还拍什么了”……
但即便根据这些问题思索完,最终也不一定真能找到那张图。
尤其随着大家在手机内存的照片越来越多、种类越来越复杂——不光是记录生活的照片,还有上课拍下的PPT、网上保存的旅行图文攻略等堆在相册里,手动查找的难度也越来越高。
手机系统厂商们早就注意到这个事了。
如自动分类相册、根据标签检索、OCR检索照片文字等功能,都陆续出现在大家的手机里。
但是这些能力相对而言,灵活性不高、实际效果有限,很多时候也是躺在手机里“吃灰”。
所以,让搜图功能更智能化是目前用户侧真实存在的需求,也直接驱动了华为上线智慧搜图功能。
而深层原因上,还有内外两方面因素驱动。
外因来自于行业方面:搜索功能更拥抱AI是大势所趋。
通过行业各种数据的初步验证,让搜索更加智能、高效符合用户当下的需求,能推动行业向前发展。
不过目前覆盖的范围是互联网上的内容搜索,而日常生活中还有另一大搜索场景——端侧搜索,也需要智能化升级。
尤其随着用户在手机/电脑本地及个人账户中存储的文件、图片、音频等越来越多,涉及到对个人信息的搜索操作增加,这种升级也变得更加迫切起来。
比如微软在变革必应的同时,也推出了Windows Copilot,一举替代原本的“小娜”。它们的定位虽是AI助手,但也同样覆盖了端侧搜索的应用场景,二者最大的差距便是Windows Copilot引入更强的AI能力、更加智能化。
总之,无论对内对外,搜索接入更加强大的AI、向着更智能高效便捷的方向发展,已经是行业的共识。
深层内因:则来自于华为自身。
智慧搜图其实是作为华为智慧搜索战略与蓝图的一部分推出。
所谓智慧搜索,具体来看就是一个一站式聚合入口,实现了手机桌面下拉一下,就能以最快捷的方式,一步直达各类本机应用及信息内容,同时支持全场景跨终端搜索。
它的定位是进行“我的”搜索。
搜索范围是用户在手机端上的各类信息和功能,比如图片文件APP等;搜索的目标是智能识别用户的需求,让用户在“我的”领域内,实现更加快速便捷的操作。
智慧搜索的战略是要实现“本机搜索+生态搜索+全场景搜索”。
这三者联通,便能覆盖所有“我的”搜索。
其一,本机搜索是指本机应用搜索、图片搜索、文件搜索(含云端文件)、搜设置项、搜备忘录等。
比如最新升级版本中,智慧搜索下拉即搜华为云空间的云盘文件,只需输入文件名称关键词就能开始搜索,范围包括自己存入云盘的本地文件、微信/QQ保存的文件等。
前文提到的智慧搜图,也在这一范畴内。
此外还能智慧搜索备忘录,如采购清单、密码账单、朋友生日等等零碎信息,如果在记录时没有对内容进行分类的话,想要再查看之前记录的文稿十分费事。现在智慧搜索能帮人省去这一步了。
其二生态内容搜索,包括搜服务及网页内容、旅游出行、本地生活、音乐视频、购物等。
尤其是购物方面,能聚合全网精品商品,提供与“我”相关的购物服务。
其三则是全场景搜索,即跨设备搜索。
HarmonyOS将手机、电脑、平板等设备之间壁垒打通,形成了一个“超级终端”。
在登录同一帐号情况下,用户在PC端点击华为电脑桌面任务栏控制中心内搜索图标,或使用快捷键Ctrl+Alt+Q,可快速检索手机、平板内的文件。包括文档、应用、图片、视频等,并支持选择不同类型文件进行快捷预览。
通过整合“软硬芯云一体化”技术,端侧预置AI模型的加持,保障跨端搜索也不会有延迟感。
总之,无论是从最基本的用户层面,还是行业层面、华为自身,都在推动操作系统将端侧搜索体验进一步升级。
由此也就不难理解华为为什么要上线智慧搜图功能。
尤其是当下,手机操作系统经过十余年发展,在功能、内容、生态上的搭建都已经相对完善,接下来的升级和迭代一定是朝着更加细微处发展。
这些细小的升级和改变,更加润物细无声,往往让人在使用了很久后不得不感慨一句:真香。
如果从更加宏观的角度来看,这些细微功能的升级和改变,还能把人机交互体验“卷”向一个新的水平和高度。
从华为的动作里可以看到,它们选择了端侧搜索作为切入口之一,由点及面带来改变。
智慧搜图的出现,更像是一个“序章”,后面隐藏着华为对智慧搜索、手机系统、乃至人机交互的无限想象。
AI升级端侧,从搜索看起
不仅仅是华为。
一方面,从AI技术落地场景来看,本机搜索、甚至是“搜图”这个特定功能,或许是AI技术应用到移动端最容易忽略、又最为重要的方式之一。
当前这波最新的AI浪潮,正在飞速改变搜索引擎的交互方式。
正如开头所言,无论谷歌还是百度,都已经投身这场搜索引擎革新,在云侧改变搜索的方式,核心就是让搜索引擎具备自然语言理解能力,更好地认知并理解用户的意图。
但这并不意味着只有云端的搜索引擎会被迭代。
在端侧用自然语言搜“内部数据”,与在云端用自然语言提问一样,是长期以来用户隐秘的刚需之一。随着计算硬件的迭代和算法的优化,AI用于移动端改善用户体验,也必然成为一种全新的趋势。
另一方面,从人机交互角度来看,这种对内的搜索,不会局限于单一设备,必然是多端互通,形成核心以“人”为单位,最终完成全局智能化检索的生态。
如今人类对移动计算平台的畅想,已经从PC、手机逐渐延伸到VR、AR、智能汽车等新型终端上。
而在这些新型移动计算平台上,交互的形式开始不再局限于一块屏幕,转而变成更加自然的语言、手势交互。
最终在“万物互联”的前提下,实现多端信息的互通。
总之,无论从AI落地应用、还是人机交互趋势而言,搜索都是移动端必不可少的体验改善功能之一。
无论技术趋势如何,华为已经都从移动端侧做好了提升用户体验的准备。