南宋初年，嶽飛壹手帶出的嶽家軍經受了歷次戰爭的嚴峻考驗，在頻繁的戰事中逐步成長壯大起來。
嶽飛早年曾隨東京留守宗澤守衛開封。宗澤死後，杜充接任東京留守，原本為宗澤部將的嶽飛也就成了杜充的部屬。後來杜充要放棄開封南下，嶽飛進言說中原之地不可放棄，然而杜充不聽，於是嶽飛被迫隨主將杜充南下，來到建康(今南京)。
南宋建炎三年（1129年），金國大將完顏宗弼(兀術)率軍南下侵宋，在南宋諸將皆潰的不利形勢下，嶽飛仍然奮力作戰。不久，時任建康行營留守的杜充向金人投降。面對主將投敵、士卒潰散、百姓惶惶呼救的亂局，嶽飛招集東京留守司軍的散兵，慷慨陳詞，激勵眾人說：“我輩當以忠義報國，立功名，書竹帛，死且不朽。”士卒為他的愛國精神所感動，紛紛表示願意追隨他抗戰到底。
隨後，嶽飛指揮這支為數不過幾千人的部隊轉戰江南的許多地方，所部秋毫無犯，在與金國女真兵及各地流寇的作戰中，接連獲勝，並於建炎四年收復建康(今南京)。不久，南宋朝廷任命嶽飛為通州、泰州鎮撫使兼知泰州，此時的嶽飛已經成為可以獨當壹面的將領，而嶽家軍也在這時開始形成。
建炎四年（1130年），嶽飛獨立成軍之初，只有正兵不到壹萬人。此後經過壹些列的征戰和收編，到紹興四年（ 1134 年）嶽飛收復襄漢六郡時，嶽家軍兵力已增至三萬五千多人。
紹興五年（1135年），嶽飛率部平定楊麽之亂之後，在收編湖湘農民起義軍的同時，又合並了壹些地方軍隊，使嶽家軍的兵力大增。
在紹興五年（1135年）的南宋軍隊整編中，原湖湘農民起義軍中的壯丁五、六萬人大都編入嶽家軍，再加上此後撥隸嶽飛統轄的荊湖南路安撫司統制任士安、郝晸、王俊、統領焦元、丘赟等部約壹萬二千人，以及杜湛所部調歸嶽飛統轄時帶來的八千蔡州兵，此外還有江南西路安撫司統制祁超、統領高道等部約八千五百多人，這樣實際受嶽飛節制的總兵力已經達到十幾萬之多，而以後嶽家軍的兵員也大體維持在十萬人左右這個數量，直到嶽飛被宋高宗和秦檜所害。
到紹興九年(1139年)，嶽家軍總兵力已經增至十萬多人，有統制官 22 人、將官252人，其中正將、副將和準備將各84人，在嶽家軍諸將中，王貴任中軍統制，張憲任前軍統制，這二人是嶽飛的重要副手。當嶽飛不在軍中時，王貴和張憲可以代替嶽飛指揮其他統制，主持嶽家軍全軍的事務；徐慶、牛臯和董先三人最為善戰；以上五人都是嶽家軍的中堅將領。而在同壹時期，淮西張俊所部統制官只有10人，淮東韓世忠統所部統制官只有11人。
在紹興十年（1140年）北伐前，以長江邊的鄂州為基地，嶽家軍軍壹級的編制至少有十二軍，計有：壹、背嵬軍；二、前軍；三、右軍；四、中軍；五、左軍；六、後軍；七、遊奕軍；八、踏白軍；九、選鋒軍；十、勝捷軍；十壹、破敵軍；十二、水軍。其中踏白軍和遊奕軍都是馬軍番號，而作為嶽飛親軍的背嵬軍，也基本上以騎兵為主。而根據當代宋史研究專 家王曾瑜 先生的考證，當時嶽家軍全軍約有十萬多人，平均每軍約八千余人。故踏白、遊奕和背嵬三軍相加，大概有兩萬多人的馬軍，也就是說，嶽家軍當時有兩萬多人的兵力是騎兵。此時的嶽家軍已經成為步兵、騎兵、水兵各兵種齊全的強大軍事集團，規模居南宋諸軍之首，且實力最強。
但如此以來，問題就來了。宋朝壹向馬匹缺乏，南宋尤其如此，嶽飛是從哪裏弄到那麽多戰馬來組建騎兵的？據考證，這麽多戰馬既不是南宋朝廷給的，也不是買的，而是嶽家軍在與金國以及金國所扶植的偽齊政權作戰時繳獲的。
早在紹興六年（1136年）八月，嶽飛第二次北伐，兵進伊洛，其麾下猛將楊再興率軍攻克西京長水縣時，奪取了偽齊政權的壹個馬監，繳獲戰馬壹萬多匹。在同年十壹月進行的第三次北伐的過程中，嶽家軍又從偽齊那裏俘獲戰馬四、五千匹、騎兵千余人。就當時情勢而言，偽齊政權得到金國的全力援助，馬匹得來甚易，加上北宋時也曾在西京洛陽設置洛陽馬監（《宋會要輯稿》），而且洛陽地處偽齊境內腹部，在此畜養大批馬匹也是非常自然的事情，只是敵人萬萬想不到，嶽家軍進軍竟如此迅速。而繳獲的這約壹萬五千匹戰馬，加上以前歷次戰役所繳獲的戰馬以及南宋朝廷曾撥給嶽家軍的少量戰馬，則為嶽家軍組建壹支強大的騎兵部隊奠定了基礎。
嶽珂在《鄂國金佗稡編》卷22《籲天辨誣卷之二淮西辨》中提到“而況背嵬之士，先臣之親軍也，穎昌、朱仙，皆以是軍取勝，而八千余騎亦不可謂寡矣”，——也就是說，在經歷紹興十年的穎昌大戰和朱仙鎮之戰之後的次年，嶽飛率部救援淮西的時候，僅出征的背嵬馬軍就有八千多騎，這也是後來嶽家軍能夠在野戰中同女真騎兵爭雄較長的重要原因。
南宋軍事家華嶽在其所著的兵書《翠微先生北征錄》卷八中寫道：“臣聞呈試有四門馬槍，揀指有馬上單槍。嶽飛教荊襄之兵，有稽槍射。李顯忠教關西之兵，令弓手帶槍，槍手帶弓。馬軍之有槍，尚矣。自近代，善馬射者不善馬槍，所以海隊只選馬槍壹十八條、正副旗頭六名，其余皆系弓箭。立為定制，不容增減。蓋新刺馬軍、新補馬校不練教習，不熟弓馬，兩手挾弓猶恐不能施放，更責以馬槍兼人之能，則彼安能獨辦？要之，壹隊皆系老舊馬軍，則令各稽小槍，而不拘以十八人之數；皆系新招生疏之人，則令專事弓箭，而不拘以正副旗頭之額。庶不強人以短，而反害其所長。是謂槍制。”
顯然，馬上用槍並非易事，而嶽飛能“教荊襄之兵，有稽槍射”，顯然對嶽家軍騎兵的要求甚高。須知嶽飛本人就善於騎射，素有“勇冠軍”之名，有他教導，讓將士熟練掌握射技槍法，此等精兵，自然非同小可。
此外，根據《鄂國金佗稡編》卷九《遺事》記載：“臣雲（嶽雲）嘗以重鎧習註坡，馬躓而踣，先臣（嶽飛）以其不素習，怒曰：”前驅大敵，亦如此耶？“遽命斬之，諸將叩頭祈免，猶杖之百，乃釋之”，由此可見,嶽飛平時要求嶽家軍騎兵必須身披重鎧，苦練沖陡坡、跳壕溝等戰鬥動作，非常註重實戰效果。也只有經過如此嚴格訓練的嶽家騎兵，才能在中原大地上和金兵爭鋒。而建成這麽壹支總數兩萬左右的強大騎兵部隊，為嶽飛成為南宋諸將中唯壹敢於主動向金國發起進攻的稀世名將提供了重要條件。
縱觀嶽飛組建嶽家軍的過程，有以下幾點特別引人註目。壹是貴精不貴多的組軍原則。二是組建壹支高效率的幕僚機構。三是重視騎兵建設，在當時僅背嵬軍（嶽飛的親軍）中的騎兵，就有8000余騎。
此外，嶽飛治軍，以嚴明軍紀而著稱於史，“凍死不拆屋，餓死不虜掠”，南宋學者周密在其著述《齊東野語》中稱嶽飛軍紀為“中興第壹”。嶽家軍有著中國古代軍隊最嚴格的訓練體系與戰鬥紀律，賞罰分明、紀律嚴整，對百姓秋毫無犯，對敵人則如虎狼壹樣兇猛。嚴明的軍紀，是嶽家軍保持強大戰鬥力和維持良好軍民關系的保證。更與宋朝其他軍隊不同的是，嶽家軍還是壹支富有信仰的軍隊，他們牢記國恥家仇，以忠義許國、同仇敵愾，為雪國恥、抗擊外侮、恢復舊山河而戰，故士氣旺盛。
嶽飛還認為，管理軍隊，仁、信、智、勇、嚴五者缺壹不可。嶽飛平時與將士同甘***苦，在戰場上則以身作則，沖鋒陷陣，“每戰嘗自為旗頭，身先士卒”。嶽飛還有壹句名言：文官不愛錢，武官不惜死，則天下太平。由於恩威並施，使嶽家軍內部和睦，關系融洽，表現出強大的內聚力和戰鬥力。用今天的話來說，以上這些都是嶽家軍強大的軟實力。
南宋東州愛國人士王自中在淳熙十五年(1188年)九月所撰的《郢州忠烈行祠記》中曾提到嶽飛治軍的以下品行:“壹曰忠:臨戎誓眾,言及國家之祝,仰天橫泗,士皆欷歟而聽命。聞大駕所幸,未嘗背其方而坐。二曰虛心:食客所至常滿,商論古今,相究詰,切直無違忤。三曰整:兵所經,夜宿民戶外,民開門納之,莫敢先入。晨起去,草葦無亂者。四曰廉:壹錢不私藏。五曰公:小善必賞、小過必罰,待數千萬人如待壹人。六曰定:猝遇敵,不為搖動,敵以為‘撼山易,撼嶽家軍難’。七曰選能:背嵬所向,壹皆當百。八曰不貪功:功率推與其下。”顯然，具有這些傑出治軍品行愛國將領嶽飛所帶出的軍隊確實是具有強大凝聚力和戰鬥力的勁旅，同時他們經受了歷次戰爭的嚴峻考驗和鍛煉，加之平時的嚴格要求、訓練有素，故這支軍隊戰鬥力強，個個英勇善戰，堪稱無不“以壹當十”。
正如當代宋史研究泰鬥 王曾瑜 先生所指出的，南宋初年的各支宋軍中，只有嶽家軍是進攻型的軍隊，而當時具備“直搗黃龍”、光復故土的決心和能力的宋朝統帥，只有嶽飛。
後記：
早在紹興四年（1134年）收復襄漢六郡之後，嶽飛即提出組編“精兵二十萬”以實現“直搗中原、恢復舊疆”的戰略主張，並曾為此付出艱苦的努力。然而由於宋高宗等人的對武將做大的擔憂和阻撓牽制，嶽飛組編“精兵二十萬”的計劃壹直未能落實。此後，嶽家軍的總兵力壹直維持在10萬人左右，與20萬的預定數目相去甚遠，這也成為嶽飛紹興十年北伐的制肋因素之壹。
所以 後來在紹興十年北伐初期，嶽家軍接連打了壹系列的勝仗，收復失地甚廣，為其他各路宋軍望塵莫及，但是占地甚廣卻造成了兵力分散，又成為嚴重的軍事弱點。 在得不到友軍配合的情況下，隨著光復地區的日益擴大，嶽家軍不僅要繼續完成戰鬥任務，還要奉命“分撥兵將，嚴為守備”廣大新收復地區，因此，兵力分散、兵員不足的問題也就日益突顯。
面對孤軍深入、兵力分散、得不到友軍配合的不利形勢，嶽家軍只有縮短戰線，才能集中兵力禦敵。於是參與北伐的嶽家軍各部不得不中止正面推進，並盡量集結、相互靠攏。
然而，金軍統帥完顏宗弼（兀術）看到有機可乘，不待嶽家軍集結完畢，就抓住戰機，搶先發動了大規模的反攻，接著就發生了金國軍隊主力與嶽家軍之間的戰略決戰，——郾城之戰和潁昌之戰。
郾城之戰和潁昌之戰，是嶽家軍和金國女真主力部隊之間發生的大規模步騎混合戰。這兩戰都是在紹興十年閏六月後的七月發生，又是在平原地區進行，最有利於發揮女真騎兵馳突的長技，在這種嚴峻形勢下，嶽家軍能夠以寡擊眾而取勝，就更為不易。潁昌大捷和郾城大捷，都是空前的勝利，其意義非凡。
在這兩戰中，嶽家軍統帥能夠臨危不亂，正確判斷形勢，及時采取因應措施。嶽家軍將士則身負國恥家仇，同仇敵愾，以忠義許國，故士氣旺盛，即使面對敵眾我寡的嚴峻形勢，也奮不顧身地英勇殺敵。同時嶽家軍將士經受了歷次戰爭的嚴峻考驗和鍛煉，加之平時的嚴格要求、訓練有素，故戰鬥力強，個個英勇善戰，堪稱無不“以壹當十”。加之，嶽飛重視騎兵建設，嶽家軍以過去歷次戰爭(尤其是紹興六年的兩次北伐)中繳獲的戰馬為基礎，組建了壹支強大的高素質騎兵部隊，也就有了和女真騎兵爭雄較長的資本。同時宋朝發達的經濟技術條件，使嶽家軍配備的弓矢射程更遠、穿透力更強。所以，有了以上這些必要的條件，加上統帥的傑出軍事才能，在敵眾我寡的嚴峻形勢下，嶽家軍將士還能夠接連擊敗完顏宗弼（兀術）所率領的金國軍隊主力，也就不足為奇了。