1622年，荷屬東印度公司佔領了澎湖，以之作為東亞貿易的轉口基地。1623年，荷蘭人在「一鯤身」建立一座簡單的砦城，這就是安平古堡的前身。1624年，在與中國明朝的軍隊激戰了八個月以後，荷蘭人和中國官方達成協議，同意把設置於澎湖的要塞和砲臺毀壞，而於1624年轉移至台灣島，中國則不干涉荷蘭對台灣的佔領。荷蘭人佔台以後，在原來的砦城舊城址上，重新興建規模宏大的城堡「奧倫治城」（Orange），1627年以荷蘭省名澤蘭省（或譯熱蘭省）改建命名為「熱蘭遮城」（Zeelandia），至1632年始完成首期堡底工程。當時，這座城堡是荷蘭人統治台灣全島和對外貿易的總樞紐。
1662年，鄭成功攻下「熱蘭遮城」，順利將荷蘭人驅逐出台灣，建立了台灣歷史上第一個漢人政權。鄭氏同時也將該城改為「安平城」，這就是現今「安平古堡」這個名稱的由來。鄭氏王朝三代統治者均駐居此城，故又叫「王城」。
1683年清軍入台後，政治重心移至府城內，本城改為軍裝局，城堡重要性日減，而牆垣也多傾圮失修，安平城逐漸荒廢。1873年，英國軍艦來犯，船砲命中城內軍火庫引發爆炸，城牆隨之而毀，之後遂成廢墟。1874年，沈葆楨來台處理「牡丹社事件」，與日本人進行交涉，將安平城外城的牆磚，運至「二鯤身」，建立「億載金城」。