光緒二年（1876年）冬，船政選派第壹批留學生赴歐洲考察，方伯謙入選。三年（1877年）啟程赴英，留學英國格林威治海軍學校，習駕駛理法。四年（1878年）畢業，派上軍艦實習，先登英國東印度艦隊旗艦“恩延甫”號（H.M.S.Emryafus），後應方伯謙自己要求，改登“士班德”號（H.M.S.Spartan），留學生洋監督斯恭塞格稱其為“水師中聰明諳練之員”。
光緒六年（1880）年留學期滿回國。充任船政後學堂正教習，旋調練習艦教習，擢都司，仍留閩省盡先補用，並加參將銜。
七年（1881年），調入北洋，委帶“鎮北”炮艦。翌年，先後調任“鎮西”炮艦、“威遠”練船管帶。十年（1884年），中法戰爭爆發，方伯謙受命率“威遠”留守旅順，方伯謙請於險要處修築炮臺，並親自監造。炮臺建成，即名之為“威遠”炮臺。“威遠”炮臺雖較小，但費用低廉，開支僅數千兩，當時頗受好評。時值朝鮮發生“甲申政變”，丁汝昌率艦隊赴朝，方伯謙指揮“威遠”隨行，駐朝鮮馬山浦。十壹年（1885年）九月十九日，調任新購巡洋艦“濟遠”號管帶，旋因援護朝鮮有功，經直隸總督、北洋大臣李鴻章奏保，升補遊擊，並賞戴花翎。
十四年（1888年），因功免補遊擊，以參將盡先補用。同時，與林泰曾壹起赴天津，會同周馥、羅豐祿等議訂《北洋海軍章程》。翌年初，李鴻章奏保方伯謙升署北洋海軍中軍左營副將，仍充“濟遠”管帶。十七年（1891年）五月，李鴻章第壹次到威海檢閱海軍事竣，奏準以方伯謙辦海軍出力，賞給“捷勇巴圖魯”勇名。十八年（1892年）初，署缺三年期滿，實授北洋海軍中軍左營副將。
光緒二十年（1894年）四月，朝鮮爆發東學黨起義，朝鮮政府請求清政府派兵幫助鎮壓，是月下旬，丁汝昌派“濟遠”、“超勇”二艦護送葉誌超、聶士成軍赴牙山，以“濟遠”方伯謙為隊長。當時，朝鮮牙山、仁川等處，日本軍艦及運兵船往來不絕，其所運之兵馬、槍炮、彈藥、水雷、旱雷、電線、浮橋等不可勝數。日本當局之欲挑起釁端，昭然若揭，方伯謙見狀，遂上書李鴻章，提出五條建議，其中與海戰有關者二事：壹、“謂海軍戰艦，合則力厚，分則勢單，未決裂前，宜速召聚壹處，遇有變局以便調遣，若以數船分駐仁川、牙山，港道分歧，三面倭兵可到，若倭以浮雷順流而下，必遭暗算。且我聚各船於威海、旅順，有事則全隊出北洋巡弋，若遇倭船，便於邀擊。至收泊之處，依於炮臺，以固北洋門戶，邊疆自不至為所擾”，主張將北洋水勢化零為整，以基地為依托。二、“謂當速籌添戰艦，倭之敢輕我中國者，以我海軍戰艦無多，且皆舊式，不及其新式快船、快炮之利。倘我添行速率之船多艘，並各船上多添快炮，則彼自聞而震懾”。書方上，日本就挑起了戰爭。
先是，丁汝昌根據李鴻章的命令，又派“濟遠”、“廣乙”等艦護送運兵船至牙山，以增援葉誌超、聶士成軍，以方伯謙為隊長。六月二十二日晚，方伯謙獲悉日本艦隊將於第二日開到，遂令不堪作戰的“威遠”先行返航。六月二十三日拂曉，“濟遠”、“廣乙”完成護航任務，從牙山起碇返航。上午7時，行至豐島附近海面，發現日本軍艦“吉野”、“秋津洲”、“浪速”。7時15分，方伯謙下令全艦官兵進入戰鬥崗位，準備迎敵。7時45分，日艦“吉野”突然向中國軍艦開炮，挑起了豐島海戰。在實力極為懸殊的情況下，“濟遠”、“廣乙”二艦沈著作戰，多次擊中日艦。激戰中，“廣乙”船舵被擊毀，傷亡慘重，力不能支，首先撤退。隨後方伯謙見敵我力量懸殊，下令轉舵向西北方向駛避。日艦“吉野”從後追來，方伯謙下令掛白旗，後又令加掛日本海軍旗。不久，運兵船“高升”和運輸艦“操江”誤入戰場，與“濟遠”迎面駛過。日艦“浪速”轉舵攔截“高升”，“秋津洲”回航追逐“操江”，“吉野”繼續尾追“濟遠”，逼近至2500米處發炮猛擊。“濟遠”水手王國成、李仕茂等使用150mm尾炮，向“吉野”連發4炮，命中3炮，“吉野”頓時火起，船頭低俯，不敢前進，於中午12時43分轉舵撤退，“濟遠”得以撤出戰場。此次海戰，中國軍艦“廣乙”擱淺自焚；運兵船“高升”被擊沈，船上千余名中國官兵殉難；運輸艦“操江”被日艦擄走。
回威海後，丁汝昌曾向“濟遠”管帶方伯謙及艦上官兵詳細詢問作戰情形。並於六月二十八日向李鴻章報稱：“查卻敵保船，全恃此炮，水手李仕茂、王國成為功魁，余幫放送藥送彈之人亦稱奮勇。昌已傳令為首李、王賞壹千兩，余眾***壹千兩，告諭全軍，以為鼓勵。”至於方伯謙在海戰中的表現，褒貶不壹。先是李鴻章於七月初六日致電丁汝昌，說“方伯謙牙山之役敵炮開時躲入艙內，僅大二副在天橋上站立，請令開炮，尚遲不發，此間中西人傳為笑談，流言布滿都下”。接著，清廷又於七月十壹日頒諭，以“管帶‘濟遠’之方伯謙，於牙山接仗時鏖戰甚久，炮傷敵船，尚屬得力，著李鴻章傳旨嘉獎”。
此後，八月十八日（9月17日）午後，北洋水師與日本聯合艦隊在黃海展開激戰。海戰中，北洋海軍的兩艘弱艦“超勇”、“揚威”先後中彈起火沈沒、擱淺。戰至下午3時30分，“致遠”沈沒，方伯謙即率“濟遠”逃出陣外。僚艦“廣甲”見狀，也隨之逃跑。日本先鋒隊四艦轉而圍攻“經遠”，將“經遠”劃出陣外擊沈。
八月十九日醜刻，“濟遠”首先回到旅順，方伯謙報稱“濟遠”“船頭裂漏水，炮均不能施放，駛回修理，余船仍在交戰”。相隔近4小時，艦隊方返回。
八月二十三日，丁汝昌向李鴻章電告接仗情形：“‘濟遠’首先退避，將隊伍牽亂，廣甲隨逃。若不嚴行參辦，將來無以儆效尤而期振作”。李鴻章因而作出奏請：“茲據丁汝昌查明，‘致遠’擊沈後，該管駕方伯謙即行逃走，實屬臨戰退縮，應請旨將該副將即行正法，以肅軍紀。‘廣甲’管帶澄海營守備吳敬榮，亦隨‘濟遠’逃至中途擱礁，咎有應得，惟人尚明白可造，可否革職留營，以觀後效”。二十四日清政府下令將方伯謙“撤任，派人看管候奏參”。同日，軍機處電寄李鴻章諭旨：“本月十八日開戰時，自致遠沖鋒擊沈後，濟遠管帶副將方伯謙首先逃走，致將船伍牽亂，實屬臨陣退縮，著即行正法”。翌日淩晨5時，方伯謙在旅順黃金山下大船塢西面的刑場上被斬首，時年41歲。
但是據史料記載，方伯謙被處死後，該艦上的數百名官兵伏屍而哭，至暮不歸，而後大部分棄家歸田，以泄憤怒。這壹點引起了史學家的註意。後來，人們從當時的作戰日誌中發現：濟遠艦是在船頭嚴重開裂、艦身傾斜、基本失去戰鬥力的情況下才被迫撤離戰場的。並且，被其“撞沈”的那艘戰艦實際上在濟遠號返回前壹個時辰已經被日軍魚雷擊沈。
既然方伯謙沒有重大過失，那麽為什麽會被處以極刑呢？後來經過史學家調查發現，方伯謙年齡最小，天資聰明，才華橫溢，在留洋時就常遭人嫉恨。而北洋水師兵敗甲午戰場，除了當時清政府從上至下的全面腐敗這種根本因素外，主要原因是丁汝昌指揮不當，甚至連陣型都沒排好就倉促應戰。丁汝昌原本是太平起義軍的將領，後來叛變投降了清政府。這種靠出賣戰友而爬上去的陸軍將領去領導海軍能夠有多大的勝算？
結果，北洋水師近乎全軍覆沒。老佛爺查起責任來，李鴻章丟卒保車，將方伯謙作了替罪羊。於是，就有了我們的“歷史”。