清遠城墻建築始於元代。據舊書記載，元順帝鄭智二十二年(公元1362年)，清苑縣被海口劫，主簿白太平為防被拒，開始修築土城。明朝洪武二十二年(公元1389年)，統帥同治李穎為了加固城墻，將土城改建為磚城。經過多次重建，成為粵北重鎮，地處北江。
明清時期的清遠城墻高六至十米，底寬六米，頂寬四米多，周長四千八百多米，圍合面積約六萬五千四百三十八+0.5平方公裏。東城在這曙光路，西城在這城中路，程楠在這上下廓街旁邊，北城到這環城路。四城分南、北、東、西門。鐘樓和鼓樓依城而建，巍峨壯觀。
明朝成化年間，為加強防禦，在東、北兩側建有分城。紫城起於今天曙光路南端的防洪閘，止於今天城中路北端，途經今天的上好基、橋北路、松崗、高吉利，全長約四公裏。外面有壹條護城河。城墻周圍有14駐軍，用於駐軍。城東、西兩角有護城河，寬8米，深2米，有吊橋和攔馬墻。民國19年拆除，歷時589年。
南門街和北門街是城市的主幹道，城市共有24條主幹道。後來城裏人口增多，向城外發展。南沿城墻開設上闊街和下闊街，成為商業城的貿易中心。後來在上下廓上加了壹條後街，即上廓後街和下廓後街，然後從上廓向東發展，增加了平安街和圍仔，從下廓向西發展，增加了叢園水巷到高崗裏。
城市的每個街角都設置了大門，可以關閉以確保公共秩序。上闊街分為中華門、銀根門、社學門、洋河門。下廓街分為楊穎門、清澤門、高第門、玉笛門、傅穎門、風華門和錢乙門。每個大門都有壹個門，並設置了壹個守夜人在夜間巡邏，以告知時間。遇有盛大節日，各門組織參與活動，到了宵夜，花燈盛開，壹派娛樂祥和的景象。