平面布置圖對於可視化空間、規劃路線和溝通建築設計非常有用。例如，一個進入新建築的機器人可以使用平面圖快速感知總體布局。創建平面圖通常需要一個完整的布局，這樣3D傳感器和攝像機就可以捕捉到整個空間。
1月11日消息，據外媒報導，近日，來自Facebook、德克薩斯大學奧斯汀分校和卡內基梅隆大學的研究人員正在探索一種人工智慧技術，利用視覺和音頻，從一個短視頻剪輯中重建一個平面圖。
研究人員斷言，音頻提供了空間和語義信號，補充了圖像的映射能力。他們說，這是因為聲音天生是由物體的幾何形狀所驅動的。聲音從表面反射回來，揭示了房間的形狀，遠遠超出了相機的視野。從遠處聽到的聲音，甚至是多個房間之外的聲音，可以揭示自由空間的存在，聲音物體可能存在。此外，從不同方向聽到的聲音暴露了基於這些聲音所代表的活動或事物的布局。例如，淋浴的聲音可能暗示著浴室的方向，而微波爐的聲音則暗示著廚房的方向。
研究人員的方法被稱為AV-Map，旨在將帶有多通道音頻的短視頻轉換成2D樓層平面圖。機器學習模型利用音頻和視覺數據序列來推理樓層平面圖的結構和語義，最終使用解碼組件融合音頻和視頻信息。AV-Map生成的平面圖大大超出了視頻中直接可見的區域，顯示了劃分為離散語義房間標籤(如家庭房間和廚房)的自由空間和被佔用區域。
該團隊在來自Matternet3D和SoundSpaces數據集的數字環境中試驗了兩種設置，即主動和被動。在第一個實驗中，使用一個虛擬攝像機在模型房屋的房間內移動時發出一種已知的聲音。在第二種情況下，只依賴家中物體或人自然發出的聲音。
研究人員表示，在未來的工作中，將計劃考慮擴展多層平面圖，並將繪圖想法與機器人連接起來，主動控制攝像頭。