清泰三年（公元936年），石敬瑭與後唐決裂，劉知遠力薦石敬瑭起兵，成霸業於晉陽（今太原）。石敬瑭擔心自己不是後唐大軍的對手，決定求援於契丹。劉知遠全力支持他這個決定。但在許諾的條件上，他不同意石敬瑭既稱臣又割地的做法。他對石敬瑭說：“對契丹稱臣就可以了，行以父親之禮就太過了。只要用豐厚的財物去賄賂，就足以使契丹出兵，根本不必承諾向他們割讓土地。割讓土地，只怕日後會使契丹成為中原大患，到那時，就追悔莫及了。”但石敬瑭稱帝心切，根本不聽劉知遠的建議，以至於釀成了日後遼兵南下滅晉之禍。
石敬瑭稱帝後，論功行賞，先後加封劉知遠為忠武軍節度使、歸德節度使。後晉天福六年（公元941年）七月，又任命他為北京（太原）留守、河東節度使石敬瑭簡介，總攬晉陽地區的軍政大權。次年，石敬瑭病逝，遺詔劉知遠輔政，由出帝石重貴即位。石重貴對日益坐大的劉知遠深感不安，但因為對遼用兵，還需要借重劉知遠鎮守北方，便以懷柔手段拉攏劉知遠，封其為太原王、拜中書令等職。劉知遠權勢更盛，遂立足晉陽，在河東招兵買馬、擴充實力。這壹時期，後晉與契丹關系破裂，兩國戰爭時有發生，但駐守在河東的劉知遠對契丹兵的屢屢侵擾不聞不問，石重貴幾次讓他發兵，他也置之不理，只是趁著亂世招降納叛，數年間就在晉陽聚集了壹支五萬人的大軍，河東的實力因此很快就超過其他的藩鎮。
開運四年（公元947年），契丹攻滅大梁，後晉滅亡，整個中原處於壹片混亂之中。當時，後晉諸藩鎮被迫上表稱臣，劉知遠也派遣使者到開封，向契丹表示慶賀，卻並不稱臣。耶律德光心裏不滿，但忌憚於河東兵馬強盛，也不好說些什麽。使者回到晉陽後，向劉知遠報告說，契丹兵蠻橫殘暴，在中原燒殺搶掠，很不得民心。許多地方的百姓自發組織反抗，各鎮節度使也多是口服心不服。劉知遠聽了使者的報告後，認為有機可乘，決定興兵自立。是年二月，劉知遠在晉陽稱帝，仍沿用後晉“天福”年號，以此籠絡人心。
劉知遠稱帝後，各地的藩鎮多不服其管轄，而河北、河南地區則完全被契丹占有，形勢十分不利。針對這種局面，劉知遠沒有急著出兵，而是積極整軍，修繕器械，等待著有利的時機。三月，耶律德光見中原人民反抗不斷，引兵北回。四月，耶律德光病死，部下諸將忙於爭奪皇位，無暇南顧。河南、河北的兵馬也是人心惶惶，日夜難安。劉知遠審時度勢，采納了手下大將郭威的建議，南下攻打契丹占據的河北、河南地區，很快就攻陷了洛陽、開封等地石敬瑭簡介，契丹兵北遁，各地的後晉官員紛紛投降。六月，劉知遠進入開封，改國號為漢，仍用天福年號，以開封為都城，史稱後漢。他同時下令，凡契丹任命的節度使以及各級官吏均留任原職，不再變更。於是各地藩鎮打消疑慮，陸續上表稱臣。
七月，天雄節度使杜重威和天平節度使李守貞也相繼表示臣服。但不久，杜重威就再度擁兵反叛。劉知遠聞訊，下詔罷其官爵，並率軍親自攻打魏州。十壹月，魏州糧盡，杜重威被迫出城投降。
這年十二月，劉知遠因愛子病逝，悲傷過度，而致病倒在床，久久不見恢復。次年壹月，劉知遠在病床上宣布改元乾祐，並將自己的名字改為暠。十七日，劉知遠病危，急召心腹重臣蘇逢吉、史弘肇、郭威入宮，要他們輔立皇子李承祐。當天，劉知遠駕崩於滋德殿（即萬歲殿），終年54歲。死後葬於河南睿陵。