现在居家看电影,大伙儿还是更愿意用电视。

毕竟在同等条件下,电视的屏显和画质摆在那里,手机再怎么升级屏幕,沉浸感还是没有电视好。

BUT,就在最新一期天玑旗舰技术沟通会上,联发科却突然宣布,成功把电视上的画质 秘籍 搬到手机上来了

要知道在智能电视市场,联发科智能电视芯片至今已助力累计超过20亿台电视产品在全球各地上市,是这一领域的领导厂商,画质增强技术更是早有积淀。

电视技术移至到手机上带来了两点好处,一方面,画质品质更高了;另一方面,用到手机拍照甚至拍视频上,可以节省算力进一步提升能效。

要知道,这可是各大头部电视厂商都在用的画质技术,有几家才刚安排到新产品上。

此前手机虽然也get了不少影像处理技能,但和高端电视比起来还是要低调一些。

这究竟是怎么做到的?

把电视画质技术搬手机上来了

最新的电视技术全称AI景深画质增强技术(AI Depth PQ),目前这项技术已经被用在不少电视上。

既然如此,联发科脑洞大开:为什么不能将这类AI画质优化相关技术直接用到手机拍照、视频实时处理上,直接改善成片效果?

具体来说,通过AI来进行画质增强的技术又可以被分为几类技术,包括AI图像语义分割技术、景深估计技术和智能优化技术等。

其中最重要也是整个技术的核心,就是AI图像语义分割技术。

这项技术本身并不复杂,核心思路就是将场景中的不同物体按照 描边 的方式分割成几个区域,每个区域中的所有像素都可以用相同的标签来标记:

△例如像素4标签路人,像素3标签蓝天

但用在手机智能拍照上,又有至少三大考验:

AI的理解能力,如何合理切分照片的前景和背景;AI的决策能力,如何选择各区域的优化算法;受限于手机体积,AI算法的功耗不能太大

例如,上图中站在背后的路人、和毯子上正在拍照的两个主角,虽然都属于 人 这一标签,但需要进行的处理却截然不同,一个需要抠图并智能消除、另一个需要智能美颜算法:

又例如,即使是被划分为 背景 的部分,在进行处理时也有不同的算法需求,像照片中的 普通蓝天 需要被优化甚至智能替换成 更讨好眼球的蓝天 ,而草地色彩则需要被调整得更明亮一点。

再例如,想将这个技术扩大到视频拍摄中,像电视处理电影那样实时进行,AI图像语义分割技术又不能占用太多算力,不然直接掉帧甚至快速掉电

△4K30帧视频(约800多万像素/帧)需要的算力是800万照片的33倍

针对这几点,联发科对应地研发了几种算法,来 配合 语义分割算法打出组合拳。

首先,结合场景识别优化语义分割算法,使得AI不仅能区分前景(如人像、动物等)和背景,还能进一步识别不同种类的背景,如建筑、天空、绿地、植物和水池等。

然后,就是AI区域画质增强技术(AI Region PQ)了。

将照片分割成前景和不同区域的背景后,AI会针对每个区域的物体特性,分析并选取最合适的优化算法, 拆分式 地优化照片不同区域的效果。

例如针对蓝天的优化,基于色彩增强算法让天色看起来更明亮;针对建筑物的优化,则主要在对比度和锐利度上,如结合超分辨率等算法,让建筑物的窗户等细节看起来更清晰

最后,还能基于语义分割算法降低视频的算力,实现精确对焦。

此前,针对视频的实时追焦算法往往是进行逐帧追焦,通过计算帧间差异来调整清晰度,这样不仅耗费算力,甚至可能降低视频的流畅度。

相比之下,采用语义分割算法区分出前景后,只需要针对前景区域进行侦测和追焦就行,背景则不需要再耗费更多算力去进行优化,就省去了不少算力。

这样一来,不仅照片和视频都实现了实时算法优化,甚至相比原来还节省了一大波算力,例如4K30帧视频和8K30帧视频拍摄所需算力,都降低到了原来的1/4。

同时,联发科也针对AI算法在硬件处理上进行了对应的优化,包括提升APU的能效等,进一步降低AI景深画质增强技术在手机上消耗的算力。

事实上,这也并非联发科第一次针对手机AI技术进行布局了。

用AI突破计算摄影瓶颈

从2018年开始,联发科开始将计算摄影作为手机芯片算法的研发重点。

当年10月份推出的Helio P70处理器,着重提升了多帧降噪 (MFNR)方面的性能,即通过一次性拍摄多张照片,随后通过计算每个位置对应的多层像素均值进行输出,提升照片的清晰度。

这其中涉及大量算法的优化,尤其是拍摄多张照片并进行处理的速度,当年Helio P70针对多帧降噪算法进行优化后提升了约20%的性能。

然而,在计算摄影研发过程中,团队在计算机视觉方面遇到了一些算法优化极限。

适逢更多AI算法在手机端优化落地,计算摄影团队的重心也逐渐转到AI技术研发上。

一方面是芯片上有关AI算力的提升。

最早从2018年Helio P90强调提升AI算力速度、同时推出包含剪枝在内一系列优化算法的AI计算平台NeuroPilot v2.0,到2020年的天玑1000+的MiraVision画质引擎和APU3.0;

再到2021年至今强调的 每瓦有效算力 指标,即APU长时间运行的功率大致在1W左右,联发科在这方面强调的始终是 开源节流 ,优化AI的能耗。

也就是说,尽可能在不增加功耗的情况下,提升手机上AI算法运行的效果。

另一方面则是不断改进AI算法的性能。

而从整体研究范围来看,联发科这几年也一直在提升对于AI的重视程度,包括进行贝叶斯优化、元学习相关的机器学习研究,相关论文发表在NeurIPS、ICLR等顶会上。

这其中就有与影像处理相关的研究,例如提出了一个名为CycleNet的框架,旨在提升AI识别拍摄场景中较深物体(即相对镜头的距离较远)的能力。

具体来说,CycleNet借鉴了 神经元会和处理相同图像中具有相同特征物体的神经元产生联系 等一系列生物神经元处理信息的特点,来设计整体的框架逻辑,提升AI在处理较小较模糊的目标时整体的识别准确率。

至于我们多久会在手机上见到这样的AI技术?还得看联发科的速度了(doge)

还有哪些手机技能待点亮?

随着AI落地的技术越来越多,手机应用似乎也在进一步逼近想象力的极限。

甚至有一种观点认为,目前能提升手机性能和创造力的就只有AI技术了。

然而事实真是如此吗?

即便这几年手机功能需求逐渐趋于一致,人们的关注度也并不止放在手机AI技术上。

包括GPU、通信乃至导航等,同样是大伙儿期待在手机上能有进一步提升的硬件设备 技能点 。

这种情况下,手机究竟还有哪些可待提升的功能空间?

如果仔细观察这几年芯片技术发展趋势的话,会发现确实还有不少。

从联发科在技术沟通会上透露的情况来看,芯片厂商针对手机游戏性能提升的侧重点仍然在移动光追上。

只不过相比于去年这一热点概念的提出,今年移动光追已经逐渐成为手机上一个可以预见的功能性卖点,而且还会随着技术的成熟普及到更多手机设备上。

同理还有移动GPU增效方案,也在与移动光追同步进行,目的是在增加图像刷新率、分辨率和渲染复杂度的同时,保持芯片能效的优化,以实现软硬件同步跟进的效果。

至于在通信技术方面,未来可预见的功能则包括5G新双通、以及支持Wi-Fi 7、高保真蓝牙音频等。

其中,新双通指在手机双卡双待的情况下,让双卡的信号彻底不互相影响的能力,即使用流量卡打游戏时,主卡接电话也丝毫不受到影响。

随着明年Wi-Fi 7标准的发布,WiFi吞吐量、稳定性和时延还会有进一步的改善,到那时候手机上即时刷剧打游戏的体验也会再度提升。

至于高保真蓝牙音频这一方面,则主要是改进了音频编解码器和高带宽的技术,让音频传输效率和音质进一步up。

最后则是高精度导航方面的技术了。

虽说随着自动驾驶和V2X等技术发展火热,如今车道级导航已经是车机标配。

但在不用车或是车内手机导航时,除了室内这种卫星信号无法触达的场所,高楼大厦林立的区域也同样需要用到手机高精度导航技术。

而随着联发科MPE(MEMS-sensor Positioning Engine)融合技术的发展,结合传感器(陀螺仪、加速度计等)+全球卫星导航系统的导航技术也将应用到手机上,极大增加室内定位和弱信号区域的导航精度。

年底下一代天玑旗舰芯片又要发布了,据网传型号是天玑9200,你最期待什么功能出现在上面?

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注