元朝徹底消滅南宋殘余後，認為趙顯無用，但也很尷尬。他們害怕殺死趙顯會引起漢人的激烈反抗，導致社會動蕩。所以最後元朝皇帝終於把趙顯父子送到了西藏，在寺廟裏當了和尚。
當趙顯到達贛州時，被元武宗的大兒子攔住，要求把趙顯懷孕的妻子交給他。趙顯以為自己已經出家了。對方是王爺，妻子嫁給他也算是不錯的歸宿，壹起努力，於是趙顯的孩子就成了紂王的孩子。
元明宗繼承王位後，立趙顯娥的妻子為皇後。1330年，元文宗殺了元明宗，把趙顯的兒子流放到青島囚禁起來。後來，元文宗聽說遼陽和高麗的地方政府想支持他當皇帝，元文宗慌了，於是他向世人公布了自己的真實身世。他是趙顯的兒子。壹年後，元文宗又把他從朝鮮召回被流放到廣西，所以廣西的壹些廣東人是趙顯的後代。
1330年，元文宗殺了元明宗皇後(即趙顯娥的妻子)，將鐵托·穆爾流放到朝鮮青島囚禁。後來聽說遼陽和高麗的地方政府都想當皇帝，就公開說穆爾是趙顯的兒子。1331年，鐵托·穆爾被元文宗從朝鮮接回，流放靖江(今桂林)。19年80年代，人們找到了南宋皇族的墓地，提取了他們的DNA，最終確定元順帝不是趙顯的兒子。