从视频片段中推断楼层平面图 新AI研究令人大开眼界
我要评论平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如，一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局，这样3D传感器和摄像机就可以捕捉到整个空间频片。
1月11日消息，据外媒报道，近日，来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的研究人段中员正在探索一种人工智能技术，利用视觉和音频，从一个短视频剪辑中重建一个平面图。
研究人员断言，音推断频提供了空间和语义信号，补充了图像的映射能力。他们说，这是因为声音天生是由物体的几何形状所驱动楼层的。声音从表面反射回来，揭示了房间的形状，远远超出了相机的视野。从远处听到的声音，甚至是多个房间之外的声平面音，可以揭示自由空间的存在，声音物体可能存在。此外，从不同方向听到的声音暴露了基于这些声音所代图 表的活动或事物的布局。例如，淋浴的声音可能暗示着浴室的方向，而微波炉的声音则暗示着厨房的方向。
研究人新A员的方法被称为AV-Map，旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和视I研觉数据序列来推理楼层平面图的结构和语义，最终使用解码组件融合音频和视频信息。AV-Map生成的究令平面图大大超出了视频中直接可见的区域，显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被人大占用区域。
该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设开眼置，即主动和被动。在第一个实验中，使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种从视情况下，只依赖家中物体或人自然发出的声音。
研究人员表示，在未来的工作中，将计划考虑扩展多层平面图，并频片将绘图想法与机器人连接起来，主动控制摄像头。
相关文章
DeepSeek神秘新模型登陆LmArena，"快乐机器人"命名引爆AI圈热议
知名AI模型评测平台LmArena近日发布重大更新，上线了两款全新的DeepSeek模型，分别以"非常秘密且有趣的模型"和"高度机密且快乐的机器人"这样极具趣味性的名称命名。这一神秘发布立即在AI社区2026-11-12
4月9日消息，地平线创始人&CEO余凯今日出席阿里云AI势能大会。 据悉，地平线基于阿里云训练端到端智驾大模型。余凯表示，阿里云弹性、稳定、灵活的强大算力，有力支持了地平线在软件、算法等领域的持续创新2026-11-12
Meta 投资 15 亿美元在德州建设 AI 数据中心，水资源回收率将达 200%
Meta 公司近日宣布将在美国德克萨斯州埃尔帕索新建一座投资高达15亿美元的人工智能优化数据中心。这将是 Meta 在全球的第29座数据中心，同时也是该州的第三座，旨在满足不断增长的人工智能应用需求。2026-11-12
云梦级11月18日云梦级消息，据媒体报道，猛士汽车销售服务有限公司在11月有重大工商变更。首先是注册资本，该公司的注册资本从1亿元增加至4亿元，增幅达到300%。 其次是管理人员，该公司原法定代表人、2026-11-12
撰文 | 曹双涛 编辑 | 杨博丞 题图 | IC Photo MBTI已然过时，SBTI正迅速成为新晋社交顶流。 与MBTI动辄93道题、主打严肃科学的画风截然不同，SBTI的31道题走的是纯纯“发2026-11-12
云梦级3月26日云梦级消息，3月26日晚间，海尔智家发布了2025年报。财报显示，海尔智家营收首次突破3000亿元，达3023.47亿元，同比增长5.71%；归母净利润195.53亿元，同比增长4.32026-11-12
最新评论