上汽集团:AI驱动的智能座舱感知交互演进

时间:2024-07-16 13:07
来源:盖世汽车
阅读量:19944   

新能源汽车智能化角逐初期主要聚焦于功能性竞争,力求单点突破,强调智舱与智驾的差异化竞争。随着智能化水平成为比拼焦点,主机厂开始从整车层面出发丰富使用场景,推动舱驾融合与数据驱动的大模型学习,车辆日益成为移动智能体。

2024年7月12日,在第二届智能座舱车载显示与感知大会上,上汽集团创新研究开发总院智能座舱首席专家周阳霖表示,下一步智舱交互的趋势是机器从被动响应走向主动交互,从人适应机器到机器不断地适应人;多模感知交互是简约的、更加情感化的自然交互方式,是实现智舱 AI 智能体的关键。

周阳霖|上汽集团创新研究开发总院智能座舱首席专家

以下为演讲内容整理:

新能源汽车智能化发展

新能源汽车的竞争轨迹常被简化为“电动化上半场,智能化下半场”,实际上电动化与智能化共同构成了全程挑战,前期可视为入围角逐,而智能化深化则引领进入淘汰赛阶段。智能化初期聚焦于功能性竞争,如提升CPU算力、增大屏幕、丰富功能,力求单点突破,强调智舱与智驾的差异化竞争,通过特定功能如DMS、OMS彰显特色。随着智能化水平成为比拼焦点,主机厂从整车层面出发丰富使用场景,推动舱驾融合与数据驱动的大模型学习,车辆日益成为移动智能体。

其中,智能座舱作为整车感知交互的核心,集成了人机界面与操作系统,是整车智能化水平的直观体现。它涉及众多零件子系统与功能,通过视听触嗅等多感官方式提供沉浸式体验,成为连接各系统的中心节点。智能座舱具有高度集成、个性定制与智能交互三大特点。

图源:演讲嘉宾素材

当前,智能座舱形态与功能已趋于稳定,信息框架、语音交互、车控车设、生态服务构成基础框架。未来发展方向一是基于现有体验的微创新,二是智能化大模型的引入,带来从边缘到核心的突破性变革,聚焦智能化体验与功能的深化。

AI驱动的感知交互发展

在AI驱动的感知交互领域,多模态大模型将推动交互方式的深刻变化。传统APP+GUI模式将向极简界面与动态LUI转变,大模型的生成能力将实现界面实时构建,打破固定规则,重塑交互体验。

智能体验主要聚焦于人与机器的交互,特别是智能体如何模拟人类感知与行为,这种人智交互旨在模拟人类间的自然沟通。智能座舱作为核心,强调多驾乘空间与多模态互补的交互方式,通过座椅反应、方向盘震动等空间性元素,综合作用于用户的视觉、触觉、听觉与嗅觉,实现多维度空间交互。

智能化层面,感知智能依托传感器收集信息,如通过DMS监测用户疲劳状态;而认知智能则更进一步,实现从感知到推理的跨越。大模型的应用正推动这一进程,促进从感知智能向认知智能的飞跃。

大模型成为智能座舱感知交互发展的核心驱动力,其支持的多模态感知与交互,共同构成了智能行为的输入输出体系。大模型上车的方式多样,包括人为主导、人机协同及智能体模式,后者能自主决策并优化用户体验,如调整氛围、导航避堵等。

图源:演讲嘉宾素材

在具体应用上,语音识别与交互领域的应用迎来变革。传统语料训练方式被语义理解所取代,实现模糊语音车控,大幅提升交互自由度。智能问答系统亦受益于此,快速理解并反馈车辆信息,提升用户操作效率。此外,多模态感知交互虽处于起步阶段,但其在提升识别能力、自然交互、个性化及情感化方面的潜力巨大,是未来发展的重要方向。

在多模态交互设计中,需注重时间与空间的连续性、互补性及一致性,确保交互体验的完整与流畅。通过这些努力,我们将为用户带来更加智能、便捷、人性化的驾驶体验。

生成式HMI的核心在于利用大模型技术,基于语音对话的上下文理解,动态生成复合视觉效果,实现从传统GUI(图形用户界面)向VGUI(视频图形用户界面)的转变,彻底革新界面交互方式。允许用户根据个人喜好,直接自定义主题、壁纸、色彩乃至助理形象,大模型能实时生成多样化内容,促进用户共创设计,带来全新体验。

推动极简交互模式的发展,去除冗余功能,实现界面与交互的去应用化,通过云端与车端能力融合,根据用户意图动态组合功能,提升交互效率与体验。这一趋势与苹果产品的设计理念相呼应,即追求简洁与高效。

场景引擎的智能化升级是关键。传统基于规则的场景模式存在局限性,难以适应用户个性化需求与变化。而面向多模态的大模型能够赋予场景引擎理解与认知能力,灵活调用SOA(面向服务架构)资源,根据实时情况做出最适调整,从而打破规则限制,提升用户体验。

图源:演讲嘉宾素材

尤其值得注意的是,大模型的参数规模与计算能力,使其在处理复杂场景与条件判断时展现出巨大潜力,远超传统规则引擎。这不仅解决了规则数量激增导致的性能瓶颈问题,也为车载智能化提供了更加可靠与高效的技术支撑。

大模型在车载应用中主要呈现为三种形态:通用模型、领域特定的小模型(部署于车端),以及用户个性化的微模型。这一架构合理高效,通过大算力实现通用能力压缩至车载小模型,再经用户微调形成个性化微模型,形成闭环优化。

在选择大模型时,智能化水平是关键考量,包括使用体验、生成质量、智能体能力及安全合规性。需综合评估模型的上下文理解能力、内容创新、生成能力、逻辑推理及智能体特性,确保其既能独立运作,又能融入感知、决策、执行等完整智能体闭环中。

对智能座舱未来的展望

展望智舱未来,核心在于实现人与车之间自然、高效的交互,确保安全愉悦的驾乘体验。趋势上,智舱交互将从被动向主动响应转变,机器不断适应人的需求。多模态感知交互将成为主流,以简约而情感化的方式,增强人机交互的自然性。最终,智舱大模型将融合文本、声音、图像、视频等多模态理解与生成能力,成为智舱感知交互的智慧大脑,深刻改变汽车行业的发展方向。

声明:免责声明:此文内容为本网站转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。