五角大樓的設計負責人是陸軍準將布裡恩·伯克·薩默維爾。他接到的任務是：4天內提交出一個具有防火和全空調功能的、能容納4萬人辦公的行政大樓設計方案。
政府官員們一致認為，新的陸軍部大樓應該建在維吉尼亞州阿靈頓縣的波託馬克河附近。新的建築要求是，它不能超過四層樓高，並且只能使用少量的鋼材。這些規定意味著，新的大樓不再是往空中拔高，而是向四周大面積的擴展。該大廈的新址可能是阿靈頓農場，毗鄰阿靈頓國家公墓和廢棄的華盛頓胡佛機場。五角大樓的形狀是由阿靈頓農場的天然地形決定的。
最終，羅斯福總統還是選擇了胡佛機場作為了五角大樓的地址，因為他不想因為新的大廈阻擋了人們從阿靈頓國家公墓眺望華盛頓的視線，但是依然保留了五邊形的建築形狀，因為在這一階段重新設計的耗資將是巨大的，而且羅斯福本人也很喜歡五邊形這個設計。而這也使得大廈的形狀從阿靈頓農場不對稱的地形束縛中解脫出來，從而變成了正五邊形。
1941年7月，五角大樓的立體建築圖繪製成功。儘管它的不規則形狀還是引出了許多問題，但基於客觀環境的限制，五邊形的設計方案還是最佳的選擇。繪圖者蘇格拉底·託馬斯後來回憶說：「（五邊形）是最適合它的。」
五角大樓的地基很差，原為河邊無人居住的大片沼澤。為此，建築工人打下了41492根水泥柱，並就地取材，從附近的波拖馬可河中挖來68萬噸砂石，以壓製成30萬立方米的鋼筋混凝土建築材料。五角大樓的設計為戰爭年代節約了建造一座戰艦的鋼材。其總建築面積為29英畝，相當於5座美國國會。
最後，在耗費了16個月和8700萬美元後，五角大樓竣工了。整座建築俯視圖為正五邊形，邊長281米，高22米。1943年1月，僅僅16個月的時間，這一號稱世界佔地面積最大的辦公建築宣告竣工，並按其建築外形命名五角大樓立即投入使用，在二戰的後期發揮了重要的軍事指揮功能。
五角大樓是世界上建築面積最大的單體辦公樓，其總建築面積60.4萬平方米，其中辦公面積為34.4萬平方米。大約有23000名軍方人士及文職人員在五角大樓工作，另外還有約3000名非國防志願者在五角大樓服務。五角大樓共有五個外立面，建築分為五層（包括地下兩層），每層由內至外共有5個環狀走廊，走廊總長度達到28.2公裡。
內部布局
五角大樓佔地面積235.9萬平方米，大樓高22米，共有5層，總建築面積60.8萬平方米，使用面積約34.4萬平方米，當時造價8700萬美元，於1943年1月15日建成，同年5月啟用，可供2.3萬人辦公。大樓南北兩側各有一大型停車場，可同時停放汽車1萬輛。
1947年9月，美國第33任總統杜魯門建立的國防部開始在此辦公。從此，五角大樓便成了美國國防部的代稱。樓裡除國防部機關外，還包括下屬的參謀長聯席會議和海、陸、空軍三總部。
五角大樓一層大廳內有銀行、郵局、書店、診療所、電報局以及各種商店。有「國防部靈魂」之稱的參謀長聯席會議在二樓，這一層辦公樓鋪有金色地毯，人稱「金廳」。國防部長辦公室和陸軍部在三樓。三樓走廊一角有一「英雄廳」，為紀念獨立戰爭以來的「最高榮譽勳章」獲得者而設。這裡掛著3000多塊銅牌，上面鐫刻著他們的姓名、籍貫和簡歷。還有馬歇爾、艾森豪和麥克阿瑟三個元帥的「紀念走廊」，陳列著他們各時期的照片、軍裝、勳章、手槍，以及他們所籤署的命令、文物等。三樓以上為海軍部和空軍部。