他的父親魏長賢精通文史。他曾是北齊的文學家，後來因為直接向政府進諫，被貶為上黨屯縣令。他父親的正直和固執對十幾歲的魏徵產生了良好的影響，但由於他的早逝，他的家族生意衰落了。貧窮的生活沒有磨滅魏徵的意誌。他意誌堅強，誌向遠大，善於讀書和讀書，尤其對歷代的盛衰興亡感興趣，這為他的政治和歷史打下了堅實的基礎。魏徵的青年時代是在隋末的動亂年代度過的。為了躲避戰爭，他出家為僧。當時，河南的翟讓、石密率領的瓦崗軍攻占了洛陽東北最大的糧倉羅興倉。起義軍開倉放糧，扶貧救苦，贏得了人民的支持，隊伍迅速擴大，威望日益提高。隋大業十二年(616)，隋舞陽郡元寶揭竿而起，響應李密。元寶知道魏徵很有學問，就請他在縣政府裏當家做秘書。魏徵毅然去了那裏。
當李密看到寶藏的信件時，他經常感到驚訝。後來，李密知道這些信是魏徵寫的，就讓魏徵參軍，在元帥府當文學官，掌管寒若瑉。魏徵向李密提了十條建議，但李密驚訝於鄭偉的才能，沒有采納他的策略。隋大業十三年(617)，李密刺殺瓦崗軍首領翟讓，瓦崗軍的領導地位大大削弱。瓦崗軍是壹支強大的反隋力量，先後擊敗了隋軍將領王、等。當然，瓦崗軍也付出了很高的代價，給將軍們造成了很多傷亡。
李密誤判形勢，滋生驕傲。李密殺了翟讓後不久，王就集中二十萬兵力對付瓦崗軍。魏徵非常關心這場戰役的勝敗。他找到李密的壹個姓鄭的長史，說:“雖然龔偉(李密)突然獲勝，但戰士已經死了壹大半，士兵也萎靡不振。他們兩人都很難遇到敵人。且天下皆食，決壹死戰。很難和前面抗衡。朱若不肯深入高遠，而在十月，天下滿糧，便退，追，攻，所向披靡。”魏徵的意見無疑是正確的。然而，目光短淺的鄭昌時卻斥之為“老生常談”。魏徵非常生氣，離開了。結果李密戰敗，整個瓦崗軍崩潰，李密不得不投降唐朝。魏徵跟隨李密來到首都長安。魏徵回唐後，不見重用，默默無聞。所以他自動請求安撫山東。唐高祖同意了他的請求，提拔他為秘書程。當他從長安來到溧陽時，魏徵寫信給躲藏在溧陽的李密的老幕僚徐世傑，敦促他回到唐朝。許世傑知道了情況，很快就加入了唐朝。
就這樣，鄭偉用壹封信拿下了唐朝山東(太行山以東)的廣大地區。徐士奇臣服後成為唐朝的壹名偉大的軍人，多次征討戰功卓著。李淵被賜姓李，但他避開了唐太宗和的禁忌，改名叫。
不久，魏徵來到濰州，並說服元寶加入唐朝。魏徵從濰州回到了溧陽。同年10月，河北農民起義軍竇建德攻占溧陽，魏徵被他俘虜。竇建德把魏徵作為他的客人。武德四年(621)，領兵圍攻洛陽，王向竇建德求援，壹舉擊敗王和竇建德，魏徵再次回到唐朝。
魏徵當過道士，並在李密和竇建德的農民起義軍中生活過壹段時間。他目睹了農民起義軍的偉大力量，深刻理解了農民的悲慘生活和感情，使他明白了“水能載舟，亦能覆舟”的道理；豐富的實踐對魏徵後期政治思想的形成產生了重大影響。太子李知道才華橫溢，就叫他去洗馬寫書，就當了東宮的官。李很器重，對李很忠心。在與爭奪皇位的過程中，竭力為出謀劃策。
魏徵看到李世民在建立唐朝的過程中做出了巨大的貢獻，贏得了民心。所以他提醒太子:“秦王為天下立下大功，中外歸心。不過殿下因年事已高，在東宮，對鎮上也沒什麽大貢獻。”這時，逃到土耳其的竇建德殘余勢力劉黑闥經過幾個月的休整，重新占領了河北失地，恢復了許多郡縣。抓住這個機會，對李說:“今天，劉黑闥死後，人民不滿壹萬，資源匱乏。這壹定會像用軍隊消滅腐朽壹樣。殿下應親自去壹趟，博取功名，結識山東豪傑，好讓您平平安安。”李同意了的建議，並向求情。於是命令李和率軍去攻克劉黑闥，於是就率軍出征。唐軍到了長樂，劉黑闥盤踞，兩軍形成對峙。向李建議采取鎮壓與綏靖相結合的兩手政策遣返俘虜，以此來說服劉黑闥的同僚相信朝廷的赦免政策，打擊他們的士氣。這壹戰略的實施，使得劉黑闥的軍隊人心渙散，四處逃竄，很多人投降了唐朝。最後劉黑闥被唐軍打敗殺死，結果唐朝鞏固了在山東河北的統治。這場戰役充分顯示了魏徵的政治和軍事才能。
唐朝統壹天下後，李、與的矛盾日益激烈。再三勸說李，下決心除掉，以免後患無窮。但在武德九年(626)，李世民先發制人，在玄武門設下埋伏，壹舉殺死李和李元吉，從而贏得了玄武門之亂。唐高祖被迫接受現實。他封李世民為王子，並將將軍的統治權交給了李世民。玄武門事件後，李世民對東方官僚網開壹面。壹天，他把魏徵叫進來，問道:“妳為什麽要疏遠我們的兄弟？”魏徵平靜地回答說:“如果王子聽了我的話，就不會有今天的災難。”李世民早就知道魏徵的才能，看到他臨危不懼，更加看重他。魏徵被任命為太子詹的辦公室主簿，他負責東宮的日常事務和文件。
武德九年(626年)八月，李世民稱帝，這就是唐太宗。唐太宗知道人們善於履行自己的職責，就提拔魏徵為顧問醫生。他派魏徵去安撫河北。當時，河北境內有李、、李元吉等多名余黨。他們總是害怕李世民的鎮壓，所以他們很困惑。
鄭偉曾經建議唐太宗應該公平對待他們，忘記舊仇。唐太宗聽了他的建議，派他去安撫他，允許他有根據實際情況進行變通的權利。到了磁州(今河北磁縣)，看到李的侍衛和李元吉的侍衛李思行被押解回京，下令將他們釋放，原東宮老戶和齊全部赦免。這樣，河北才會穩定。魏徵不負使命，返回長安。唐太宗非常高興。從那以後，魏徵和唐太宗越來越親近，有時甚至進唐太宗的臥室討論重要的事情。鄭偉對遇見他深表感激，他什麽都知道，什麽也不能說。
唐太宗即位後不久，宰相馮德毅建議:“中年人雖已十八歲，但軀幹已長”，也可點兵。法令頒布時，魏徵認為這是不可能的。唐太宗憤怒地指責他:“那些中年壯丁，都是逃避征兵的漢奸騙子。他們能得到什麽傷害？”魏徵回答說:“在防禦方面有自己辦法的士兵不多。陛下可以取他們之力，用道來保衛他們，天下無敵。為什麽要拿更多的弱勢來增加虛數？”陛下曾經說過，‘我要以誠信治國，使我所有的臣民都免於欺詐。’即位才幾天，失信者不計其數！"他接著說，"陛下剛即位時，寫了壹封信說，'過去交給國家的財產，壹律捐免。'但相關部門還在催。妳的聖旨也說了，‘關中免調租兩年，海關免徭役壹年’。有關部門交了房租，還給他們了。他寫了壹封信說:“那些已經在軍隊服役並支付租金的人將從明天起免除租金。”租金調整是必然的，需要士兵。這是要誠信對待這個世界嗎？唐太宗很高興，說:“我還以為妳頑固不化，政治不過關。今天聽妳們討論，真是精辟透徹，我的錯誤也不小。”他不僅接受了魏徵的建議，還授予他壹個金瓶。
貞觀元年(627)，據傳魏徵偏袒其親屬。唐太宗找古代醫家文彥博調查，沒有證據。文彥博在信中指責魏徵，說他不註意自己的行為，逃避嫌疑，導致誹謗。魏徵見太宗曰:“臣不敢奉詔。我也說過，君臣合壹，叫做壹體。怎樣才能放棄無私，在做人上下功夫？如果自上而下走這條路，就很難預測國家的興衰。”他對唐太宗說:“願使者為良臣，不為忠臣。”太宗問:“忠與善有什麽區別？”魏徵說:“好的大臣和他們的名字有關，如紀和齊，君主也獲得了良好的聲譽。忠臣則不同。比如商紂王時代，龍相遇，奮力壹戰，面敗國亡。”太宗聽了非常高興。然後他問魏徵:“人的主人是什麽，什麽是明的，什麽是暗的？魏徵回答說:“傾聽是光明的，但傾聽是黑暗的。”唐太宗聽後非常高興，連稱好。貞觀三年(629)二月，魏徵以秘書監的身份參政，出任宰相。貞觀七年，魏徵被任命為助理，他是省長，當然也是總理。