淮北小上海的起源要從淮北與上海之間的壹段淵源說起。淮北剛建的時候，全國各地來支援建設的人很多，大部分是上海人，江蘇人，山東人，上海人是來的最多，呆的時間最長的外地人。那時候城市的小學幾乎每個班都有幾個上海人。現在他們有的回去了，有的還在淮北。
“上海人就是壹味的註重環境衛生”這個笑話，壹開始被人調侃，但上海人並不在意，依然很重視淮北市的衛生。那時候城市雖然小，但是很幹凈整潔！
上世紀70年代，安徽省革委會主任宋來皖北調研知青和軍隊管理，來到象山腳下的淮北市。當他看到那個物質貧乏的時代，淮北的大街小巷都是琳瑯滿目的海鮮，幹凈整潔的馬路，到處飛揚的上海話，他大為驚訝:沒想到皖北還有這樣壹座城市，淮北市可以稱得上是我們安徽的“小上海”了！