1980年5月中旬，金如柏率軍委炮兵機關工作組到鄭州高炮學校調研，為即將到來的炮兵三年制專科教育和壹年後的四年制本科教學改革試點做準備。以前高炮學校主要培養陸軍高炮的排長、連隊政治指導員、模型無人機人員。擬從1980新學期招收地方高中畢業生，培養具有大專學歷的初級指揮軍官。在調查期間，金如柏不需要特殊照顧，但每天堅持在學校食堂用餐。隨行的保安林樂華考慮到金如柏身體虛弱，讓廚師早上給他加兩個荷包蛋，晚飯壹起上。金如柏問:“每個人都有雞蛋吃嗎？”林樂華回答:“我們自己出錢。”金如柏說:“自己花錢不好，影響不好。”林樂華只好把雞蛋退回廚房。在為期壹周的調查結束時，金如柏告訴林樂華記得交夥食費。直到看到林樂華的繳費收據，他才放心離開學校。
當金如柏回到北京時，他感到有點累，而且經常不知所措。上任兩年多以來，工作壹直很滿，從來沒有休過完整的假。醫生勸他放下工作休息壹段時間，但他心裏想的是正在建設的第三地面炮兵學校。休整幾天後出發南下，6月下旬到達炮兵學校駐地長沙視察。第三地面炮兵學校剛剛成立兩年多，營區服務設施還沒有建成，接收條件比較差。學校以“首長年老體弱”為由，安排他住在學校附近的當地賓館。金如柏得知在賓館住壹天需要支付24元的住宿費，堅決不同意。他說:“我去自己單位檢查工作。我為什麽要住在別的地方？”後來，金如柏住在學校宿舍的壹個普通房間裏，每天堅持和大家壹起在學校食堂吃飯。在校期間，他詳細聽取了學校建設情況的匯報，實地考察了戰術、射擊、通信等主要專業教學設施，並組織部分師生員工進行了座談。
身體孱弱的金如柏常年操勞，終於患上了下沈癥。5438年6月+2月入住解放軍總醫院。他的妻子鄭誌雯看到他嘔吐，吃飯有困難，所以他告訴他的孩子輪流給他送飯。金如柏知道了，立刻停下來。他說:“我在醫院可以吃到飯，送飯是浪費國家汽油。”由於身體虛弱，他在文化大革命中飽受摧殘。這次生病後，他的健康每況愈下，經常臥病在床，再也無法正常工作。
1982 8月16日，經中央批準，中央軍委發布命令，從9月1日起，將軍委炮兵改為總參謀部炮兵部。金如柏作為中央軍委炮兵的最後壹名政委，隨後退出了領導崗位。
1983年6月4日至22日，金如柏出席(CPPCC)中國人民政治協商會議第六屆全國委員會第壹次會議，當選為常委。
這年年底，金如柏突然患了亞急性肝炎。確診後，金如柏立即催促家人和醫院盡快將自己轉移到傳染病醫院。他說:“總醫院住的都是高級幹部。我患有傳染病，不能傳染給他們。”
轉到解放軍第三、二醫院後，他反復跟家人和醫院說:“不要告訴別人我住在這裏。從今以後，我拒絕探視和接待來訪者。”後來，由於病情惡化，副總參謀長張震、北京軍區司令員秦基偉、第二炮兵原政委陳鶴橋、賀龍妻子薛明先後來醫院看望。他見面說的第壹句話是:“妳來找我做什麽？別傳染給妳。”為了方便家屬探視，醫院增開了壹個病房。金如柏對此深感不安，稱這破壞了醫院系統，並堅持讓員工返回。他還在生病的時候，就給妻子留下遺囑:“我死後喪事從簡，讓醫院做醫學解剖。”
1984年3月27日，金如柏在京逝世，享年75歲。