舍恩在1951-52賽季成為威斯巴登體育俱樂部的主教練，並率領這支黑森球隊在二級聯賽南區（II. Division Süd）中以第九名完賽。他本與家人在威斯巴登找尋了壹處住所，但又在1952年接受薩爾足球協會的邀請，開始擔任當時的薩爾足球代表隊主教練。在此職位上，舍恩可以造訪各俱樂部、關註頂級球員的表現並將其納入國家隊陣容。他坦言這項工作比作為壹名俱樂部主教練要好的多。舍恩不需要額外安排國家隊的集訓，因為他在擔任薩克森足球代表隊教練期間便已學會了如何考察球員。他在這裏拓展了自己的視野，通過必須出席的各項活動也使他結識了很多不同的人。他對球隊陣容進行了構建、分拆、調整和更換，這段經歷成為舍恩作為壹名主教練的成功範例，並為他就任西德國家隊主教練打下了堅實的基礎。1953年6月24日，舍恩執教的薩爾隊在1954年世界杯預選賽第1小組的首場比賽便爆冷以3比2客場戰勝挪威；而在此後面對塞普·赫爾貝格領銜的西德隊時，薩爾也僅分別在客場及主場以0比3和1比3小負。薩爾足球代表隊向世人表明，他們作為壹支魚腩部隊也可以取得令人矚目的成績。
在薩爾足球協會重新作為壹個州立組織被納入德國足球協會後，舍恩也於1956年5月26日調任西德國家足球隊的助理教練，成為赫爾貝格的副手，起薪為1100德國馬克。他同時還負責率領西德二隊、西德業余隊和西德青年隊參加歐洲足聯所舉辦的各項賽事。此外，他也曾擔任過教練員培訓講師，並始終負責西德壹線隊的比賽統籌工作。赫爾貝格對舍恩的助教作用感到滿意。球隊接納了他作為第二號人物，他也試圖營造壹個良好的工作氛圍，這是赫爾貝格處理國家隊事務最重要的先決條件。舍恩在1958年瑞典世界杯和1962年智利世界杯中跟隨赫爾貝格積累了寶貴的執教經驗。經過8年的助理教練生涯，舍恩終於在1964年夏天正式從赫爾貝格手中接過西德隊主教練的教鞭。 開端
1964年6月7日，在赫爾辛基對陣芬蘭的比賽是舍恩最後壹次作為西德隊的助理教練輔佐赫爾貝格。在赫爾貝格執教時代的最後階段，德國足球聯賽系統的最高級別在1963-64賽季由新成立的德國足球甲級聯賽取代了已不再具備國際競爭力的德國足球地區聯賽。而新任國家隊主教練則需要肩負立即率隊沖擊1966年英格蘭世界杯決賽圈的艱巨任務。瑞典及塞浦路斯是他們的預選賽對手，其中首場比賽是在沒有進行熱身賽的情況下於1964年11月4日主場對陣瑞典。通過在9月於奧格斯堡與南部聯隊和10月在杜塞爾多夫與謝菲爾德星期三進行的兩場教學暨選拔賽後，舍恩和他的助教德特馬·克拉默便確定了這支國家隊的名單和陣式。在其就任國家隊主教練後與瑞典進行的第壹場正式比賽以1比1平局結束，西德隊在世界杯預選賽上的壓力驟增。由於靦腆和敏感的性格，舍恩在面對即便最輕微的質疑時都需要經過慎重考慮後才回應，因而被媒體形容為“作風拖拉”。但迫於公眾壓力，他還是作出了順應趨勢的人員調整。在1965年12月26日客場對陣瑞典的最後壹場世界杯預選賽中，舍恩大膽啟用了年僅20歲的慕尼黑人弗朗茨·貝肯鮑爾完成國家隊首秀，並任命烏維·席勒為隊長，盡管後者僅在跟腱手術休戰6月後才剛剛傷愈復出。最終憑借維爾納·克列默和烏維·席勒的進球，舍恩的團隊以2比1贏得比賽，順利晉級1966年世界杯決賽圈。在1966年7月11日至30日舉行的決賽圈賽事中，西德隊不僅進入了決賽，他們還表現出了華麗的比賽風格，並擁有貝肯鮑爾、赫爾穆特·哈勒和沃爾夫岡·奧弗拉特這些極富感染力且技術優良的進攻球員。最終的決賽令人印象深刻，這不僅是因為新晉世界冠軍英格蘭憑借壹記著名的爭議進球將比分改寫為3比2；上屆世界杯時仍以防守為主的西德隊在新教練的帶領下在比賽中也留下了進攻的烙印。
然而舍恩隨即於1968年歐洲足球錦標賽預選賽上遭到挫折。在1967年4月6日開局主場以6比0戰勝阿爾巴尼亞的壹個月後，西德隊又於5月3日客場以0比1不敵南斯拉夫，批評者們立刻如期而至，他們認為球隊應該更註重防守。同年10月7日，西德隊完成復仇，在主場以3比1戰勝南斯拉夫。於是他們在12月17日在客場對陣阿爾巴尼亞的比賽中只需戰勝對手便可晉級。然而，西德隊卻令人意外的以0比0完賽，無緣歐錦賽決賽圈。舍恩在隨後遭到了廣泛的批評。帶著這段慘痛的經歷，西德隊又參加了1970年世界杯預選賽。在面對分組賽對手奧地利、蘇格蘭和塞浦路斯的兩回合主客場制比賽中，舍恩率隊以5勝1平的不敗戰績晉級世界杯決賽圈。其中的最後壹場比賽是1969年10月22日於漢堡以3比2戰勝蘇格蘭：在現場72,000名觀眾面前，萊因哈德·利布達於第79分鐘通過個人表演射入制勝球，是舍恩團隊順利晉級的決定性因素。
1970年世界杯至1976年歐錦賽
伴隨著雜耍般的理念，舍恩的團隊終於在1970年墨西哥世界杯賽上的表現完全擺脫了其前任塞普·赫爾貝格的影子。即便是在分組賽對陣保加利亞和秘魯的比賽中也展示出了高超的比賽藝術。貝肯鮑爾、奧弗拉特和席勒串聯成中路的核心，已經成長為國際級前鋒的蓋德·穆勒則在翼位不斷的與萊因哈德·利布達、尤爾根·格拉博夫斯基、漢內斯·洛爾和西格弗裏德·赫爾德交叉換位迷惑對手，為觀眾奉獻出極富吸引力的比賽。在扣人心弦的四分之壹決賽中，西德隊於0比2落後的情況下以3比2逆轉取勝英格蘭後，法國體育雜誌《隊報》發表了這樣的評價：
在隨後的半決賽中，堅持進攻打法的西德隊戲劇性的以3比4不敵意大利，在這場此後常被形容為“世紀之戰”的比賽中，舍恩和他的團隊得到了世界範圍內的同情。舍恩為國家隊註入的卓有成效和漂亮的進攻哲學，符合他對足球的理解。在中鋒的使用問題上（蓋德·穆勒或是烏維·席勒？），迫於公眾輿論的壓力使得舍恩在很長壹段時間內都猶豫不決且反復無常。他最終的解決方案是將席勒置於穆勒身後作為第二前鋒，這是可以使兩人同時留在場上，且不傷害任何人的唯壹方法，同時也為舍恩贏得了聲譽。兩人在這次世界杯中***射入13球，證明了主教練的安排並不僅是妥協措施。
接下來的陣容測試周期是1972年歐洲足球錦標賽的預選賽。在從對陣波蘭、阿爾巴尼亞和土耳其的第8小組中成功突圍後，西德隊於1972年4月29日再度來到溫布利球場，在四分之壹決賽首回合中面對具有心理優勢的英格蘭。然而這次西德隊憑借優異的表現以3比1客場取勝。原本謹小慎微、作風拖拉的舍恩在比賽中排出了極具風險的陣容：後場只留下霍斯特-迪特·霍特格斯和格奧爾格·施瓦岑貝克兩人作為純粹的防守球員，貝肯鮑爾和保羅·布萊特納始終果斷前插助攻；中場由赫伯特·威默主職防守，君特·內策爾和烏利·赫內斯分居左右兩邊；而格拉博夫斯基、蓋德·穆勒和西格弗裏德·赫爾德三名前鋒則完全參與進攻。這壹極具華麗風格的團隊在進攻和防守兩端的結構清晰，並且能夠以正確的比例成功應用，3比1的比分驗證了這壹點。舍恩的印記清晰可見。球隊在他的領導下依靠“負責任的球員”自由發揮，這在壹個專制的主教練治下是不可想象的。在半決賽以2比1戰勝比利時後，西德隊又在決賽中以3比0完勝蘇聯，完全沒有給對手留下任何機會。壹些國際主流媒體也對此給予了祝賀和最高級別的贊譽，其中意大利《晚郵報》形容舍恩的球隊“開創了足球史上的壹個新時代”；蘇聯隊主教練亞歷山大·波諾馬列夫在賽後也坦言，“我們必須向西德隊學習，他們的比賽技巧是在任何壹本教科書中都無法找到的”；法國《隊報》則贊賞君特·內策爾為“我們歐洲大陸上最優秀的球員”。
舍恩在1974年西德世界杯到來之前改變了這支球隊的面貌。君特·內策爾於1973年轉會至西甲球隊皇家馬德裏，並因傷缺席了國家隊在馬倫特進行的備戰集訓。赫伯特·威默淪為替補球員，而邊鋒埃爾文·克雷默斯和老將西格弗裏德·赫爾德則不再入選國家隊。在決賽圈第壹階段小組賽對陣東德的比賽中，西德隊僅有格拉博夫斯基和蓋德·穆勒兩名前鋒可用。東德以1比0贏得比賽後，西德隊陣營開始存在危機感。早在馬倫特備戰期間，國家隊便因球員獎金問題發生內訌，舍恩指責壹些曾經的核心球員未盡全力。隊長貝肯鮑爾也對主教練表示支持，他指責說：“3至4名球員在訓練不盡全力，因為他們都認為自己在正式比賽中是不可或缺的”。舍恩在第二階段小組賽首場對陣南斯拉夫的比賽開始前壹小時才公布了他的參賽名單。令人驚訝的是，烏利·赫內斯、尤爾根·格拉博夫斯基、海因茨·弗羅赫和貝恩德·庫爾曼等4名參加過0比1不敵東德的比賽的球員均缺席了這場比賽。在當晚的新聞發布會中，媒體傳出了危機風暴，當隊長坐在主教練身旁並強調自己的發言時，報刊紛紛以“貝肯鮑爾晉升為助理教練。赫爾穆特·舍恩現在著手讓權”作為頭條標題。參加了此次世界杯的貝恩德·霍爾岑拜因則在《11朋友》於2009年10月出版的特刊《70年代》（Die Siebziger）中對當時的情況作出了澄清說明：
在世界杯上輸給東德後，我的機會來了。作為壹名德累斯頓人，舍恩覺得這場比賽是壹種侮辱。他對球隊感到憤慨，第二天對著我們都壹言不發。他以這種方式讓我們感受他深切的失望，而不是舉行壹個座談或明確的處罰，整個氣氛都非常壓抑。這是他的風格。赫爾穆特·舍恩並不會通過大聲說話來激勵，他認為這好比是壹個親生父親的失望，整個球隊都對此感到羞愧。於是弗朗茨·貝肯鮑爾發表了壹份正式聲明。他代表舍恩決定讓我在第二階段小組賽中替換烏利·赫內斯出戰南斯拉夫，同時被調至首發陣容的還包括萊納·邦霍夫、迪特·赫爾佐格和赫伯特·威默。這在後來多次被媒體形容為貝肯鮑爾剝奪了舍恩的職權。完全是無稽之談。是舍恩組建了球隊，但與其他主教練不同，他會權衡各方的觀點，也容許別人提出意見。
西德隊在第二階段小組賽中分別戰勝了南斯拉夫、瑞典和波蘭，從而得以晉級決賽對陣荷蘭。此時的球隊陣容中，萊納·邦霍夫、奧弗拉特和赫內斯坐鎮中場，前鋒則由格拉博夫斯基、蓋德·穆勒和霍爾岑拜因領銜。在戰術層面上，舍恩安排了速度較快的貝爾蒂·福格茨對荷蘭頭號球星約翰·克魯伊夫實施貼身緊逼防守，施瓦岑貝克更多的任務是盯防羅布·倫森布林克，邦霍夫則依靠其充沛的體能不斷對對方中場核心威廉·範哈內亨進行幹擾。上半場結束後，西德隊以2比1取得領先，比賽中也取得不少令人信服的攻勢。下半場比賽則成為了德國人的防守大戰，在荷蘭隊狂風驟雨般的攻勢面前，他們奮力將比分維持到終場。赫爾穆特·舍恩率領他的團隊在奪得1972年歐錦賽冠軍後又實現了在1974年世界杯奪冠。而早在1966年世界杯他們便已是亞軍，並在1970年世界杯獲得季軍。只是1974年的獲勝方式已經無法與此前幾次大賽時華麗的表演風格相媲美。
在奪得世界杯冠軍後，格拉博夫斯基、蓋德·穆勒和沃爾夫岡·奧弗拉特均結束了各自的國家隊生涯，年輕的保羅·布萊特納也遠走西班牙加盟皇家馬德裏。他們所留下的空隙，尤其是蓋德·穆勒離開所帶來的損失最為沈重。但作為國家隊主教練的舍恩已無法再浪費時間，因為1976年歐洲足球錦標賽預選賽在1974年11月便已開始。在四分之壹決賽中，西德隊與西班牙相遇，他們先是在1976年4月24日於馬德裏進行的首回合較量中以1比1戰平對手，次回合回到慕尼黑主場後又以2比0取得勝利。因此，衛冕冠軍得以晉級在1976年6月於南斯拉夫所舉辦的半決賽。經過加時賽以4比2擊敗東道主後，西德隊又進軍在6月17日於貝爾格萊德舉行的決賽，其中在第79分鐘由科隆前鋒迪特·穆勒替補赫伯特·威默的換人尤為關鍵，前者在他參加的首場國際比賽中便包辦了球隊的最後3個進球。最終的決賽西德隊與捷克斯洛伐克在常規時間內戰成2比2平，並由後者通過點球大戰以5比3勝出。盡管如此，舍恩的團隊仍被媒體視為當時歐洲最優秀的球隊，然而他對這種優越感或特殊的地位並不願談論得太多。
告別，1978年世界杯
1977年4月27日，西德隊在科隆的58,000名觀眾面前以5比0戰勝北愛爾蘭。這是核心球員貝肯鮑爾自轉會美國紐約宇宙之後所缺席的第壹場比賽。在隨後的11場比賽中，西德隊保持不敗，其中最引人註目的是其於1977年6月的南美之行所獲得的成功，先後戰勝了烏拉圭、阿根廷、巴西和墨西哥，這也使得大眾對於舍恩的團隊能夠在1978年世界杯再創輝煌充滿期待。然而，在1978年阿根廷世界杯開賽前，於1978年4月5日和19日分別對陣巴西及瑞典的最後兩場熱身賽中，西德隊的表現令人大失所望，尤其是在斯德哥爾摩以1比3不敵瑞典。此時許多批評的聲音均指向老將貝肯鮑爾、布萊特納、格拉博夫斯基以及來自皇家馬德裏的年輕球員烏利·斯蒂利克的缺陣，他們皆因為行政原因或個人原因沒有入選這壹期的國家隊。而這4名球員最終也未能參加1978年世界杯。1978年6月1日，在布宜諾斯艾利斯進行的對陣波蘭的世界杯揭幕戰中，西德隊發揮欠佳被0比0逼平。舍恩隨即發表了壹份聲明：
我們太過於尊重對手，顧慮和閃躲充斥著這場比賽。從開場哨吹響後，兩隊似乎都陷入了癱瘓。無論是我們還是波蘭，幾乎都在兩三個來回後自動傳球失誤。他們都很害怕比賽。純粹出於安全性的考慮，球被反復橫傳倒腳。我能理解觀眾的失望情緒。但畢竟許多球員都是第壹次在這裏對陣上屆世界杯的季軍。
在經歷了首場比賽的“假煙幕”後，西德隊在次戰以6比0大勝墨西哥。但在分組賽最後壹場比賽中，他們再度與突尼斯互交白卷。西德隊以壹個並不具有說服力的表現進入第二階段分組賽。而其後在對陣意大利的比賽中，他們迎來了第三場0比0。舍恩團隊的表現因為缺乏自信而起伏不定，並且事實證明這支球隊已經喪失了鮮明的個性。在以2比2戰平荷蘭後，西德隊在本屆杯賽的最後壹場比賽是1978年6月21日在科爾多瓦對陣奧地利，若取勝則仍可參加季軍爭奪賽。但西德陣中躁動不安的情緒再次在這場比賽中展現出來，奧地利憑借漢斯·科蘭克爾在第88分鐘射入的制勝球以3比2結束比賽。經過在阿根廷乏善可陳的表現後，德國足球的黃金時代隨之宣告結束，舍恩在這屆杯賽完結前正式提出辭任國家隊主教練壹職。盡管這個時機與他的設想不盡相同，他原本計劃至少可以參加與巴西的季軍爭奪戰，但對陣奧地利的失利粉碎了舍恩的夢想。
舍恩的辭呈在1978年11月15日西德隊於法蘭克福迎戰匈牙利的國際比賽前正式獲得德國足協的批準。由於受到濃霧影響，他的這場告別賽僅歷時60分鐘，在比分仍維持於0比0時被迫提前結束。舍恩離任後，德語歌手烏多·尤爾根斯專程為他創作了壹首名為《戴帽之人》（Der Mann mit der Mütze）的單曲。
傳記作家魯德格爾·舒爾策（Ludger Schulze）用以下幾句話對舍恩的退休作出了描述：
他始終忠於足球，並不僅因為他是壹名足球人，更多的是（他對足球的）愛。赫爾穆特·舍恩也許是這壹代教練中最後的代表人物：不以金錢為目標，不好大喜功，而是以對足球的熱枕作為工作的原動力。人們總會是有壹種類似這樣的感覺。