玄武門之變以後，李世民由於早就器重他的膽識才能，非但沒有怪罪於他，而且還把他任為諫官之職，並經常引入內廷，詢問政事得失。魏征喜逢知己之主，竭誠輔佐，知無不言，言無不盡。加之性格耿直，往往據理抗爭，從不委曲求全。有壹次，唐太宗曾向魏征問道：「何謂明君、暗君？」魏征回答說：「君之所以明者，兼聽也，君之所以暗者，偏信也。以前秦二世居住深宮，不見大臣，只是偏信宦官趙高，直到天下大亂以後，自己還被蒙在鼓裏；隋煬帝偏信虞世基，天下郡縣多已失守，自己也不得而知。」太宗對這番話深表贊同。
貞觀元年（627），魏征被升任尚書左丞。這時，有人奏告他私自提拔親戚作官，唐太宗立即派禦史大夫溫彥博調查此事。結果，查無證據，純屬誣告。但唐太宗仍派人轉告魏征說：「今後要遠避嫌疑，不要再惹出這樣的麻煩。」魏征當即面奏說：「我聽說君臣之間，相互協助，義同壹體。如果不講秉公辦事，只講遠避嫌疑，那麽國家興亡，或未可知。」並請求太宗要使自己作良臣而不要作忠臣。太宗詢問忠臣和良臣有何區別，魏征答道：「使自己身獲美名，使君主成為明君，子孫相繼，福祿無疆，是為良臣；使自己身受殺戮，使君主淪為暴君，家國並喪，空有其名，是為忠臣。以此而言，二者相去甚遠。」太宗點頭稱是。
貞觀二年（628），魏征被授秘書監，並參掌朝政。不久，長孫皇後聽說壹位姓鄭的官員有壹位年僅十六七歲的女兒，才貌出眾，京城之內，絕無僅有。便告訴了太宗，請求將其納入宮中，備為嬪妃。太宗便下詔將這壹女子聘為妃子。魏征聽說這位女子已經許配陸家，便立即入宮進諫：「陛下為人父母，撫愛百姓，當憂其所憂，樂其所樂。居住在宮室臺榭之中，要想到百姓都有屋宇之安；吃著山珍海味，要想到百姓無饑寒之患；嬪妃滿院，要想到百姓有室家之歡。現在鄭民之女，早已許配陸家，陛下未加詳細查問，便將她納入宮中，如果傳聞出去，難道是為民父母的道理嗎？」太宗聽後大驚，當即深表內疚，並決定收回成命。但房玄齡等人卻認為鄭氏許人之事，子虛烏有，堅持詔令有效。陸家也派人遞上表章，聲明以前雖有資財往來，並無訂親之事。這時、唐太宗半信半疑，又召來魏征詢問。魏征直截了當地說：「陸家其所以否認此事，是害怕陛下以後藉此加害於他。其中緣故十分清楚。不足為怪。」太宗這才恍然大悟，便堅決地收回了詔令。
由於魏征能夠犯顏直諫，即使太宗在大怒之際，他也敢面折廷爭，從不退讓，所以，唐太宗有時對他也會產生敬畏之心。有壹次，唐太宗想要去秦嶺山中打獵取樂，行裝都已準備停當，但卻遲遲未能成行。後來，魏征問及此事，太宗笑著答道：「當初確有這個想法，但害怕妳又要直言進諫，所以很快又打消了這個念頭。」還有壹次太宗得到了壹只上好的鷂鷹，把它放在自己的肩膀上，很是得意。但當他看見魏征遠遠地向他走來時，便趕緊把鳥藏在懷中。魏征故意奏事很久，致使鷂子悶死在懷中。
貞觀六年，群臣都請求太宗去泰山封禪。藉以炫耀功德和國家富強，只有魏征表示反對。唐太宗覺得奇怪，便向魏征問道：「妳不主張進行封禪，是不是認為我的功勞不高、德行不尊、中國未安、四夷末服、年谷未豐、祥瑞末至嗎？」魏征回答說：「陛下雖有以上六德，但自從隋末天下大亂以來，直到現在，戶口並未恢復，倉庫尚為空虛，而車駕東巡，千騎萬乘，耗費巨大，沿途百姓承受不了。況且陛下封禪，必然萬國鹹集，遠夷君長也要扈從。而如今中原壹帶，人煙稀少，灌木叢生，萬國使者和遠夷君長看到中國如此虛弱，豈不產生輕視之心？如果賞賜不周，就不會滿足這些遠人的欲望；免除賦役，也遠遠不能報償百姓的破費。如此僅圖虛名而受實害的事，陛下為甚麽要幹呢？」不久，正逢中原數州暴發了洪水，封禪之事從此停止。