同年7月，他為在紐倫堡舉行的納粹黨首次代表大會設計了會場。那里發生的一切，在瑞芬斯塔爾的紀錄片《意志的勝利》里得到了淋漓盡致的展現——巨大的旗幟在風中飄揚，聚光燈不斷掃過天空，行納粹禮的游行隊伍發出震耳欲聾的吶喊……此后，施佩爾又為納粹黨代表會場設計了一系列尺寸巨大的建筑，包括一個軍事操演場、一個供希特勒作演講和舉行音樂會用的大廳，還有一個能容納40萬人的巨型體育場——按照希特勒的想法，1940年東京奧運會后，奧運會將永遠在這個運動場里舉行。
紐倫堡工程被認為是希特勒對他的建筑師的一次測試。多年來，希特勒一直夢想著為第三帝國修建一個不朽的首都。他需要一個能替他實現夢想的人。施佩爾就是這個人——年輕，有才華，又能無條件地迎合希特勒的建筑口味。施佩爾后來在回憶錄中這樣寫道：“為接受建筑一所大廈的任務，我會像浮士德一樣出賣自己的靈魂。現在我找到了我的靡非斯特。他的誘惑力似乎不亞于歌德筆下的那個魔鬼�！�
振興德國首都建筑總監
無論是在建筑史還是戰爭史上，施佩爾都是個充滿爭議的人物，沒有人能說清，那些冠以施佩爾之名的建筑到底屬于他本人，還是屬于他身后的那個“XXX”（希特勒在親手繪制的柏林建筑草圖上的署名）。
迪耶·薩迪奇將施佩爾描述為“希特勒勤勉的仆人”，短短5年間，他就從一名默默無聞的助教變成柏林改造的總建筑師，并一度被認為是元首的接班人，他的作品集中表現了極權主義的特征。但施佩爾的支持者則認為他的建筑是“新古典主義”的代表——無論從尺度上還是氣質上。
在納粹德國的權力中心，施佩爾名列第五，前面4位分別是：希特勒、希姆萊、戈林、戈培爾。
但施佩爾與希特勒的私交遠勝于排在他前面的幾個人。
在希特勒和愛娃聊私己話的時候，如果還能容進第三個人，那就是施佩爾。
在施佩爾回憶錄作者約阿希姆·費斯特眼中，施佩爾和希特勒之間“存在某種不為人知的親密關系”。眾多材料表明，有一次去用餐途中，元首曾親手給施佩爾披上自己那件綴滿金質黨徽的外套。
“施佩爾每次到訪，希特勒都異常興奮，就如同與戀人相約。”一位希特勒的手下工作人員曾這樣回憶。
兩人共同繪制圖紙，制作建筑模型，常常通宵達旦。
1936年，希特勒正式將改造柏林的任務委托給施佩爾，同時轉交的，還有他繪于1920年代的一系列草圖，包括兩張鉛筆素描——柏林大會堂和凱旋門。
施佩爾隨即被任命為“振興德國首都建筑總監”，并在巴黎廣場上得到了一間巨大的辦公室——歷史悠久的普魯士美術學院被勒令搬走，騰出場地供他使用。
新柏林建成后，作為第三帝國的首都，將會改名為“日耳曼尼亞”。按照希特勒的構思，施佩爾畫出了總體規劃圖。整座城市的總體布局基于兩條中軸線。其中最壯觀的南北中軸線長近8公里，寬120米——比巴黎香榭麗舍大街寬20米，兩端各有一個火車站。南北中軸始于南端火車站，穿過火車站廣場上比巴黎凱旋門高兩倍的柏林凱旋門，橫跨斯普雷河，到達高290米、能容納15萬人的“希特勒圓頂大會堂”，大街在此折而向西，直至北端火車站。沿途建筑全部使用“真實的材料”——花崗巖和大理石建造。
按計劃，所有建筑物將在1950年前竣工，屆時，在主干大街上將會有盛大的勝利游行，一次盛況空前的世界博覽會也將同時舉行。
按照慣例，施佩爾為“日耳曼尼亞”制作了巨大的模型，以方便希特勒隨時前來查看，模型大概與人胸口齊平，分塊組裝，可采用聚光燈從不同角度照射，模擬不同的光照條件，建筑物涂上了不同的顏色以代表所用的材料，鉛制的玩具士兵在大街上排成縱隊行進。希特勒對此非常滿意，常領著客人在模型陳列室參觀，有一次，他挽著施佩爾的胳膊，眼淚汪汪地說，“您是否明白為什么我們要搞這么大的規模嗎？日耳曼帝國的首都——只要我還健在的話……”
作為柏林改造計劃的一部分，1938年1月，施佩爾開始為希特勒建造全新的總理府，4500名工人分兩班日夜工作，1年后竣工。施佩爾為這個長條形建筑設計了一組不斷變換建筑材料和色調的房間以及比凡爾賽宮鏡廊長一倍的畫廊，這意味著國賓和外交官從正門出發，必須走過一段220米的長路，經過4道大門，才能到達希特勒的接見廳。新總理府落成后第65天，捷克斯洛伐克總統哈查正是在這段長路上耗光了談判的勇氣，最終在《投降協議》上簽下了自己的名字。
由于二戰全面爆發，納粹經濟吃緊，“日耳曼尼亞”計劃擱淺，到今天，柏林城市里，施佩爾負責建設的建筑物基本上已經全部被拆除。
2008年3月，“日耳曼尼亞”模型在柏林重新展出，再次引發媒體和公眾的高度關注。戰后的歷史資料證明，在改造柏林的過程中，施佩爾主導抄查了23765戶猶太人家庭，并將超過75000名猶太人驅逐出柏林。
1942年，希特勒將另一項更重要的工作交給了施佩爾——德國軍備和戰時生產部長，直接主管德國戰時經濟。有歷史研究者認為，在這段時間里，施佩爾事實上操縱著戰爭這臺巨大的機器。
在主管經濟的同時，改造柏林的工程一直在施佩爾的監督下進行。他拆除了半條福斯大街，并對柏林的土地進行了專門的承重測試以確保大會堂的修建；戰爭初期，德軍節節勝利，25000名捷克和蘇聯戰俘以及被關押在弗洛森堡等集中營的政治犯日夜勞作，為紐倫堡和柏林的工程提供建筑材料——紐倫堡軍事法庭上，施佩爾將這項罪行推卸給副手，后者因此被判處死刑。
在紐倫堡軍事法庭上，施佩爾因“戰爭罪和反人類罪”被判刑20年。在持續了10個月的審判中，施佩爾表現出非常積極的認罪態度，加上他的建筑師身份，以及在庭審中宣稱自己在戰爭后期曾打算毒殺希特勒，被普遍認為是他身為一級戰犯卻獲得輕判的原因。
“父親塑造的不過問政治的形象是不正確的。他位居納粹權力中心，也是納粹政治的策劃和實施者之一�！毙∈┡鍫栆苍@樣對德國媒體表示。
由于紐倫堡審判中蘇美英法4國法國準備不足，使得施佩爾成為納粹權力核心中惟一逃過了死刑的人。根據近年來歷史學家的研究，他曾親自批準了擴建奧斯維辛集中營的建筑材料；肆意掠奪猶太人的財產，中飽私囊；告密自己的競爭對手；支持迫害強制勞工的恐怖措施。按照現今掌握的證據，他必定難逃死刑的判決。
1966年施佩爾出獄，這是當時轟動世界的新聞事件，來自世界各地的記者將施潘道監獄圍了個水泄不通。出獄后他先后出版了三本回憶錄——均成為暢銷書，他將80％的版稅捐獻給了猶太人基金。施佩爾將自己對媒體和歷史學家敞開，1973年，他使用化名前往倫敦接受BBC專訪，結果在希思羅機場被扣留了8小時，英國入境處最終同意他在境內停留48小時接受采訪。
1981年9月1日，再次前往倫敦參加另一次BBC訪談的施佩爾因心臟病發去世。
