玄武門之變以後,李世民由於早就器重他的膽識才能,非但沒有怪罪於他,而且還把他任為諫官之職,並經常引入內廷,詢問政事得失。魏征喜逢知己之主,竭誠輔佐,知無不言,言無不盡。加之性格耿直,往往據理抗爭,從不委曲求全。有壹次,唐太宗曾向魏征問道:「何謂明君、暗君?」魏征回答說:「君之所以明者,兼聽也,君之所以暗者,偏信也。以前秦二世居住深宮,不見大臣,只是偏信宦官趙高,直到天下大亂以後,自己還被蒙在鼓裏;隋煬帝偏信虞世基,天下郡縣多已失守,自己也不得而知。」太宗對這番話深表贊同。
貞觀元年(627),魏征被升任尚書左丞。這時,有人奏告他私自提拔親戚作官,唐太宗立即派禦史大夫溫彥博調查此事。結果,查無證據,純屬誣告。但唐太宗仍派人轉告魏征說:「今後要遠避嫌疑,不要再惹出這樣的麻煩。」魏征當即面奏說:「我聽說君臣之間,相互協助,義同壹體。如果不講秉公辦事,只講遠避嫌疑,那麽國家興亡,或未可知。」並請求太宗要使自己作良臣而不要作忠臣。太宗詢問忠臣和良臣有何區別,魏征答道:「使自己身獲美名,使君主成為明君,子孫相繼,福祿無疆,是為良臣;使自己身受殺戮,使君主淪為暴君,家國並喪,空有其名,是為忠臣。以此而言,二者相去甚遠。」太宗點頭稱是。
貞觀二年(628),魏征被授秘書監,並參掌朝政。不久,長孫皇後聽說壹位姓鄭的官員有壹位年僅十六七歲的女兒,才貌出眾,京城之內,絕無僅有。便告訴了太宗,請求將其納入宮中,備為嬪妃。太宗便下詔將這壹女子聘為妃子。魏征聽說這位女子已經許配陸家,便立即入宮進諫:「陛下為人父母,撫愛百姓,當憂其所憂,樂其所樂。居住在宮室臺榭之中,要想到百姓都有屋宇之安;吃著山珍海味,要想到百姓無饑寒之患;嬪妃滿院,要想到百姓有室家之歡。現在鄭民之女,早已許配陸家,陛下未加詳細查問,便將她納入宮中,如果傳聞出去,難道是為民父母的道理嗎?」太宗聽後大驚,當即深表內疚,並決定收回成命。但房玄齡等人卻認為鄭氏許人之事,子虛烏有,堅持詔令有效。陸家也派人遞上表章,聲明以前雖有資財往來,並無訂親之事。這時、唐太宗半信半疑,又召來魏征詢問。魏征直截了當地說:「陸家其所以否認此事,是害怕陛下以後藉此加害於他。其中緣故十分清楚。不足為怪。」太宗這才恍然大悟,便堅決地收回了詔令。
由於魏征能夠犯顏直諫,即使太宗在大怒之際,他也敢面折廷爭,從不退讓,所以,唐太宗有時對他也會產生敬畏之心。有壹次,唐太宗想要去秦嶺山中打獵取樂,行裝都已準備停當,但卻遲遲未能成行。後來,魏征問及此事,太宗笑著答道:「當初確有這個想法,但害怕妳又要直言進諫,所以很快又打消了這個念頭。」還有壹次太宗得到了壹只上好的鷂鷹,把它放在自己的肩膀上,很是得意。但當他看見魏征遠遠地向他走來時,便趕緊把鳥藏在懷中。魏征故意奏事很久,致使鷂子悶死在懷中。
貞觀六年,群臣都請求太宗去泰山封禪。藉以炫耀功德和國家富強,只有魏征表示反對。唐太宗覺得奇怪,便向魏征問道:「妳不主張進行封禪,是不是認為我的功勞不高、德行不尊、中國未安、四夷末服、年谷未豐、祥瑞末至嗎?」魏征回答說:「陛下雖有以上六德,但自從隋末天下大亂以來,直到現在,戶口並未恢復,倉庫尚為空虛,而車駕東巡,千騎萬乘,耗費巨大,沿途百姓承受不了。況且陛下封禪,必然萬國鹹集,遠夷君長也要扈從。而如今中原壹帶,人煙稀少,灌木叢生,萬國使者和遠夷君長看到中國如此虛弱,豈不產生輕視之心?如果賞賜不周,就不會滿足這些遠人的欲望;免除賦役,也遠遠不能報償百姓的破費。如此僅圖虛名而受實害的事,陛下為甚麽要幹呢?」不久,正逢中原數州暴發了洪水,封禪之事從此停止。