武德四年（621年），唐高祖李淵任命李靖為行軍總管，隨趙郡王李孝恭征討盤據長江中下遊的蕭銑。九月，李靖趁長江水位暴漲、蕭銑疏於防備之機，率軍從夔州出三峽，順江東下，以迅雷不及掩耳之勢，壹舉攻至江陵城下，迫使蕭銑投降。李靖率軍進入江陵後，軍紀嚴明，秋毫無犯，江南各州郡聞風歸附。李靖因功授上柱國，封永康縣公，任檢校荊州刺史。接著，李靖率軍南下廣西，派人到各州進行招撫，使嶺南地區96個州，60多萬戶歸順唐朝。於是，李靖又被任命為嶺南道撫慰大使、檢校桂州總管。
武德六年（623年），輔公袥在江南重新起兵反唐。高祖以李孝恭為元帥，李靖為副元帥前往討伐。李靖出其不意地先攻破輔公袥的水軍，接著率輕裝唐軍直趨丹陽，俘虜了輔公袥，徹底平定江南。之後，李靖先後出任東南道行臺兵部尚書、檢校揚州大都督長史。
武德八年（625年），突厥犯太原，李淵命李靖為行軍總管，領江淮兵壹萬北上抵禦突厥，同年任檢校安州大都督。武德九年四月，李靖在靈州與突厥頡利可漢激戰壹天，迫使頡利引兵北撤。不久，任靈州道行軍總管。
公元627年，唐太宗李世民即位，先後任命李靖為刑部尚書、檢校中書令、兵部尚書。