人民軍隊創立初期（紅軍時期），戰事頻繁，條件艱苦，官兵待遇基本沒什麽差別。後來隨著條件的變化，軍隊的生活待遇等有了按職務區別對待的規定，但是直到抗戰初期，官兵在待遇方面的區別也不大，因此也談不上實行軍銜制的問題。
抗戰爆發後，國***再度合作。因為當時的國民黨軍隊是有軍銜的，為了兩黨的合作，我軍軍銜的問題便提上了議事日程。
國民黨軍隊的軍銜制始於1931年4月，沿用的是北洋時期的軍銜，但其時的授銜工作相當混亂，甚至出現了許多笑話。如西北軍閥馬步芳給自己只有12歲，還在上小學的兒子馬繼援授予了上校軍銜。為此，1935年，國民政府重新頒布了軍銜等級表。1935年3月31日，國民政府授予了蔣介石“特級上將”軍銜；4月1日，授予馮玉樣、錫山、張學良等8人“壹級上將”軍銜；後來，又給李濟深、程潛、白崇禧、陳誠授予了壹級上將軍銜。
這樣，到了國***第二次合作時，國民黨軍隊的軍銜體系已經比較完整，而當時中***領導的部隊卻沒有相應的軍銜。1937年8月1日，紅軍總政治部提出了我軍將“采用官階制度”的設想。紅軍改編為八路軍，南方八省遊擊隊改編為新四軍並開赴抗日前線後，在戰爭中不斷壯大，於是開始醞釀實施軍銜制度。
1939年5月30日，八路軍總部發布了“建立等級制度的訓令”，頒布了“八路軍編制表”，明確規定了各級職務的基準軍銜，其做法基本上是按照當時國民黨軍隊的銜級而設置的，這也考慮到了與國民黨部隊的比照問題。
這時，我軍部分將領已經被授了軍銜。以八路軍120師為例，師長賀老總、副師長蕭克為中將，師參謀長周士第、幾個旅長和副旅長盧冬生、張宗遜、陳伯均、王震、王宏坤、王維舟等為少將；下屬的幾個團長王尚榮、賀炳炎、張才千等為上校。
已授銜的八路軍指揮員，大都是需要經常與國民黨打交道，或搞統戰工作的將領。但這次授銜工作卻沒能全面展開。1940年，抗戰進入了相當艱難的時刻，國***合作也出現了嚴重的問題，在這種情況下，黨中央於1942年4月24日作出了“軍隊中暫不規定等級軍銜”的決定。我軍的第壹次授銜嘗試經歷了三年的時間宣告結束。
第壹次是在1945年9月，因我軍要派出人員到沈陽，配合蘇聯遠東紅軍的行動。蘇聯軍隊的軍銜制度是很完備的，黨中央考慮到工作的方便，於是臨時給6位我軍派出的幹部授以軍銜，如葉季壯被授為中將、伍修權被授為少將。
第二次是1946年，為了便於我軍派往各地的軍事調停處的代表與國民黨的代表進行平等工作，也進行了臨時性的授銜。例如駐沈陽的饒漱石被授予中將軍銜；駐四平的耿飆、駐本溪的許光達、駐太原的陳賡、駐徐州的韋國清等人都被授予少將軍銜。
全面內戰爆發後，這些將領的軍銜也就自動被取消了。
1946年1月10日，國***兩黨簽訂了“停戰協定”，雙方承諾停止戰爭，***同建設壹個和平的國家。1946年1月31日召開了由國兩黨及其它黨派人士、無黨派人士代表參加的政治協商會議，並通過了壹個“政協決議”，國民黨表面上接受了中***提出的和平建國的基本方針。
在“政協決議”中，規定了有關改編兩黨軍隊的內容。於是，我軍的軍銜工作再次作為壹種制度被正式提出來。
1946年2月24日，黨中央發布了《關於軍隊整編的若幹問題的指示》。隨後，新四軍、山東軍區政治部明確對各級職務的軍銜做出了規定，如：新四軍的軍長、政委為上將；副軍長、副政委為上將或中將；參謀長為中將。
然而，幾個月後的1946年6月，國民黨30萬大軍圍攻我中原解放區，解放戰爭爆發，軍隊授銜壹事再度擱置。