香河縣城座落在縣境中部偏西。此地原武清縣孫村，契丹會同元年（938年）分武清、三河、潞縣三邑之民置香河縣。

城垣舊為近方形土城，明正德二年（1507年），內筑土基，外砌為磚。嘉靖四十二年（1563年），知縣范經增高五尺，修角樓4座。隆慶二年（1568年），知縣萬通修敵臺14座。萬歷十二年（1592年），知縣陳增美增高二尺。萬歷三十二年（1604年），河漲堤決，城不浸者三，知縣李垂街再修，城圍876丈，高（連垛）2.3丈，垛口1700個，角樓4個，敵臺14座，護城壕闊2.5丈，深1.5丈。四門各建門樓一座：東曰淑陽、南曰永明、西曰迎恩、北曰拱極。

那為什么說香河城像北京城呢？這兩座城有什么淵源嗎？相傳明太祖朱元璋推翻元朝以后，逃回大草原的元兵時常犯界。于是，朱元璋封四太子朱棣為燕王，掛帥掃北，并派軍師劉伯溫（實為姚廣孝。據史料記載，朱元璋令姚廣孝輔佐燕王朱棣時，軍師劉伯溫已去逝七年）隨軍出征。很快燕王平定了元軍。這時，燕王蓄意自立為君，便派軍師姚廣孝尋地建都。一日，燕王帶人來到香河淑陽之地，時值夏季，淑陽四面小河環繞，水中芰河盛開，景色秀麗，香氣襲人。燕王贊不絕口：“此處真乃香河也!”軍師姚廣孝一見燕王有意在此建都，便勘測制圖。動工時，因缺磚少木，只好大圖小建，變成一座小城，東西南北都是一里，比北京城小了十倍。城的四門仍與北京城一樣，直出直入，沒有回避墻，也沒有建接官亭。因此，香河城有小北京之稱。從明朝到清朝，香河縣都屬朝廷直管，無論多大官來，香河知縣一律不接不送，所以稱直隸香河。