元壽二年春(前121)，漢武帝任命19歲的霍去病為驃騎將軍。春夏兩季，率兵攻打占據河西(今河西走廊、湟水流域)的匈奴部，死傷四萬余人。俘虜阿提拉、太後、可汗閼氏、王子、丞相、將軍等120余人，投降匈奴邪王4萬人，全部占領河西走廊。匈奴為此哀嘆:“失去祁連山，使我六畜不快；失去我的山，使我的已婚妻子無色。”同年秋，他奉命迎接率兵來漢的匈奴邪王。在壹些人被打倒漢朝的關鍵時刻，他率軍入匈奴，殺了叛軍，穩定了局勢。匈奴邪王能夠帶領四萬多人到漢朝。從此，漢朝控制了河西地區，開辟了通往西域的道路。
元壽四年(119)春，漢武帝命衛青、霍去病(22歲)分別帶五萬騎兵離開定襄、戴軍，深入漠北追捕匈奴主力。霍去病率軍北進二千余裏，翻越後山，渡過河，與匈奴左部交戰，殲滅敵人七萬零四百人，活捉了三個匈奴屯頭王、漢王和八十三名將軍，、當湖、都尉等，並在徐山(今蒙古)和古言襲擊了狼，徐山是舉行祭天儀式的地方。壹戰後，“匈奴逃得遠，大漠南無王庭”。
他用兵靈活，註重謀略，不落俗套，勇猛果斷，百戰百勝，深得武帝信任。與衛青並稱帝國雙壁。並留下了“匈奴未滅，何必在家”的名句。元壽六年(公元前117年)，卒年24歲(虛歲)。
霍去病壹生中四次率軍出寨攻打匈奴，消滅110000余人。他平時很安靜，但在戰場上非常勇敢。他是個軍事天才，漢武帝經常勸他學習孫武的兵法，他卻說:“為什麽要扣留古法，因為要隨時計劃。”他在戰場上憑直覺、即興和閃電般的動作指揮戰鬥，使他百戰百勝，成為後世赫赫有名的壹代名將。
霍去病屢立戰功，得了高官厚祿，卻把個人享樂放在壹邊，把心放在國家利益上。河西戰役勝利後，漢武帝為了獎勵他的突出戰功，特地命人在長安為他修建了豪華的府邸，請他看看是否滿意。霍去病謝絕了漢武帝的好意，豪邁地說:“匈奴不滅，何必在家！”這句流傳千古的名言，正是霍去病光輝壹生的寫照。
而霍去病的年輕權貴，升官發財，沒有指揮下級士兵的經驗，所以對士卒缺乏關心。漢武帝率軍出征時，送了幾十車酒肉給他。當部隊轉移到班級時，手推車仍然裝滿了剩余的酒和食物，但許多士兵都餓了。當他在長城外時，士兵們經常因缺乏食物而士氣低落，但他建了壹個球室來踢足球。