AiDD研发数字峰会

论坛主席：王小东

现就职于天府绛溪实验室交互人形机器人前沿研究中心，任研发部部长，负责人机交互，大模型，具身智能等工作，同时任四川具身人形机器人有限公司专家顾问。长期致力于具身智能、人形机器人及人工智能前沿技术研发和产业化落地。
拥有12年以上人工智能领域研发与管理经验，曾任职于华为2012实验室，蚂蚁金服(阿里巴巴)人工智能部，新希望金科(新希望)研究院等知名世界500强企业，历任AI总经理、技术总监等职务。长期深耕大模型、计算机视觉、自然语言处理、智能体及具身智能等方向，主导20余项人工智能项目从0到1研发与落地，累计服务机构700余家，服务用户上亿。
作为第一发明人获得发明专利40余项，发表论文近10篇，获得软件著作权30余项；主持和参与多项省级重点研发及揭榜挂帅项目，取得省级科技成果3项。
曾获华为2012实验室代码百强员工、新希望金融科技总裁特别奖及最佳个人奖、新希望集团科技驱动奖、金熊猫高价值专利奖、成都市新经济领域人才等荣誉。

天府绛溪实验室交互人形机器人前沿研究中心研发部部长

具身智能与机器人创新实践

本论坛聚焦具身智能、多模态智能体、机器人基础模型、VLA、世界模型、感知、自主操作、运动控制、人机交互、仿真训练等关键技术，分享机器人数据体系、模型构建训练、任务规划、软硬件协同及行业应用等最新进展，围绕医疗健康、工业制造、商业服务、家庭陪伴等典型场景，探讨人工智能赋能机器人智能化升级与具身智能规模化应用，推动产业创新发展。

大模型驱动的具身智能车机测试系统

刘子凡

阿维塔科技整车测试负责人

长期专注于深度学习领域的研究与工程实践，拥有多年算法研发经验，现在主机厂担任整车测试负责人。近一年来，主导推动大模型与具身智能技术在车机自动化测试中的创新融合，从零搭建系统架构，完成机械臂控制、多模态感知与大模型判定的全链路开发，并快速实现批量落地部署，覆盖多个量产车型。目前，正带领团队将这套系统全面上线项目，持续优化其泛化能力与执行效率。

内容简介：

随着智能网联汽车车机功能日益复杂，传统人工测试面临人力成本高、场景覆盖难、评判主观性强等挑战。提出一套大模型驱动的具身智能车机测试系统，以多自由度机械臂、人工嘴模拟用户触控和语音操作，同时借助摄像头与拾音器实时采集屏幕显示和语音反馈，构建“视觉-听觉”多模态感知通道。系统利用大语言模型自动解析测试用例并生成操作序列，再通过多模态大模型对实际观测结果进行语义理解与智能判定。该方案可实现7×24小时无人化自动执行，判定结果客观一致且全程可追溯，大幅降低人力依赖，测试效率提升数倍，为车机快速迭代提供可靠的质量保障。

演讲提纲：

1.痛点剖析：车机测试中人力成本高、环境复现难、结果主观等挑战
1.1 人工测试瓶颈：重复手动操作+版本迭代频繁占用大量人力，且人工评判测试结果差异大、主观。
1.2 复杂环境复现困难：不同驾驶场景难以在实验室稳定复现，缺陷易延至用户端暴露。
2.方案总览：具身智能系统协同测试工作流程
2.1 硬件与执行层：多自由度机械臂操作；人工嘴播放语音指令及噪声；工业相机采集图像；拾音器同步录制语音反馈，形成多通道操作+感知。
2.2 系统逻辑与闭环流程：含任务编排、动作执行引擎、多模态数据采集同步、大模型推理判定、报告生成；测试脚本输入→拆解为操作序列→机械臂与人工嘴执行→摄像头和拾音器采集→大模型实时分析→输出结论，异常时自动重试或探索。
2.3 集成与适配：提供标准化API对接CI/CD流水线，支持自动触发，兼容主流缺陷管理平台实现缺陷自动创建；通过标定工具快速适配不同车型屏幕与按键布局。
3.技术核心：大模型自动解析用例、规划动作序列，以及多模态模型实时感知与智能判定
3.1 自然语言用例解析：基于大语言模型（LLM）将非结构化测试描述转化为结构化操作序列和预期结果，实现零代码脚本生成。
3.2 动作规划与自适应：LLM结合历史数据和UI识别结果动态规划最优操作路径。
3.3 多模态感知与智能判定：视觉-语言大模型（VLM）解析屏幕截图，识别UI元素，结合语音内容综合评判，输出pass/fail结论，并生成问题现象、可能原因及证据描述。
4.落地成效：测试效率提升、软件质量改善
4.1 效率提升：7×24小时不间断执行，人力投入减少70%，效率提升约3倍；支持多台设备并行测试。
4.2 质量改善：结果一致性达99%以上；每轮生成完整执行日志和判定证据链，支撑决策与质量管理。
5.未来展望：系统向整车座舱、人机共驾等场景扩展的规划与价值
5.1 扩展至整车测试，人机共驾测试，大模型自由探索测试，其他硬件多媒体测试。
5.2 标准构建：联合主机厂和检测机构，沉淀数据和体系，提升技术影响力。

听众收益：

1.降本增效新思路：了解如何用“AI+机器人”替代重复人工，大幅压缩测试周期与人力投入。
2.落地实践方法：掌握大模型驱动测试系统的架构设计、关键模块与实施路径，为自身团队引入自动化测评提供参考。
3.前瞻技术视野：获得具身智能在汽车电子领域的最新应用案例，启发更多人机交互场景的智能化改造。

AiDD峰会

K+峰会

联系我们