張伯行，字孝先，河南儀封人，康熙二十四年進士。後經考選，授內閣中書，又改任中書科中書。
遇父喪歸鄉，建立請見書院，並講解宣傳儒學。儀封城北原有堤，康熙三十八年六且因遭大而被沖垮，伯行招募民工用口袋裝土來堵塞。河道總督張鵬翮巡視黃河後，上疏推薦張伯行能夠治理河務。皇上命他以原來的官銜到河工任職，督修黃河南岸堤二百余裏，以及馬家港、東壩、高家堰各工程。
四十二年，張伯行被授為山東濟寧道。適逢災荒之年，便從家鄉運來錢和糧食，並縫制棉衣，用來解救百姓的饑寒。皇上命令按各道救濟災民，張伯行便拿出倉谷二萬二千六百石有余賑濟所屬漢上、陽谷二縣。山東市政使責備他獨斷專行，準備上疏彈劾，伯行說：“皇上有旨救災，不能說是獨斷專行。皇上如此重視民間疾苦，應該以倉谷為重呢？還是以人命為重？”布政使只好停止彈劾事。四十五年，皇上南巡時，賜予張伯行“布澤安流”匾額。不久，張伯行升為江蘇按察使。
四十六年，皇上再次南巡。到蘇州後，對隨從的臣子們說：“我聽說張伯行任官特別清廉，這是最難得的。”當時曾命負責管理江蘇的總督及巡撫推薦德才兼備的官員，而張伯行並沒有被推薦。皇上見到張伯行說：“我很早就了解妳，我來推薦妳。如果將來做官做得很好，天下都會認為我是知人善任的。”於是，提拔張伯行為福建巡撫，賜予“廉惠宣猷”的匾額。張伯行上疏請求免去臺灣、鳳山、諸羅三縣因災荒而欠交的賦稅。因為福建的米價很貴，張伯行請求動用國庫的錢五萬購買湖廣、江西、廣東的米平價出售。建鰲峰書院，置學舍，拿出自己的藏書，搜羅前代文人的文集刊印成《正誼堂叢書》，用來教學生。福建百姓祭祀瘟神，張伯行命令毀掉這些瘟神的偶像，改祠堂為義學，祭祀朱熹。民間多尼姑，有人賣貧苦人家的女子，以致削發為尼者成百上千，張伯行命令這些人家贖回自己的女子，為她們選擇配偶。有家境貧窮無法贖回的，由官府出錢贖出。
四十八年，張伯行調任江蘇巡撫，救濟淮安、揚州、徐州三府的災荒。適逢布政使宜思恭因布政司庫存虧空被總督噶禮彈劾罷免，皇上派尚書張鵬翮查處。陳鵬年以蘇州知府的身份代理布政使職務，建議布政司庫所虧空的三十四萬，以分別扣除官員的俸銀及使用差役的費用來抵補。張伯行行文噶禮要求聯名上疏，沒有被答應。張伯行便自己上疏，皇上得知後命張鵬翮壹並調查。張伯行另外又上疏說明了噶禮的不同意見。皇上對廷臣說：“看了張伯行的這個上疏，知道他與噶禮不和。作為臣子，應該以國事為重。我辦理機務將近五十年，未曾讓壹個人施展他的私欲。這個上疏應當放置不予理睬。”不久，張伯行以身體多病為由提出辭官，皇上沒有允許。張鵬翮請求責成張伯行的前任巡撫於準及直思恭賠償十六萬，其余用官員俸銀及使用差役的費用來抵補。皇上說：“江南虧空錢糧，並不是因為官吏侵吞。我南巡時，總督、巡撫隨意挪用公款而下級官吏不敢議論。如果責成新任官吏來補償，我實在於心不忍，”於是讓查明南巡時用款情況上報。張伯行又上疏，奏明各府州縣現無著落的錢糧十萬八千，皇上命令壹律免於賠償。
噶禮貪婪橫行，張伯行與他相反。康熙五十年，江南鄉試的副考官趙晉暗中交接考生，接受賄賂。發榜以後，讀書人議論喧嘩，擡著財神進入學宮。張伯行上疏奏明這件事，正考官左必蕃也把實際情況上報。皇上命尚書張鵬翮、侍郎赫壽查處，張伯行與噶禮會審。後得到舉人吳泌、程光奎暗中賄賂的情況，供詞中牽連噶禮，張伯行請求解除噶禮的職務，交有關部門嚴肅審理。噶禮心中不安，也找出張伯行的所謂七條罪狀上奏。皇上命二人都解職。張鵬翮等不久奏報：趙晉與吳泌、程光奎行賄受賄事均屬實，應按刑律治罪；噶禮暗中受賄事屬誣告，張伯行應撤職。皇上責備張鵬翮等為噶禮掩飾，又命尚書穆和倫、張廷樞重新審查，結果仍舊與前次張鵬翮等人的意見相同。皇上說：“伯行任官清正，這是天下所了解的。噶禮才幹雖有余，但喜好無事生非，並沒有清正的名聲，這個意見是非顛倒。”於是，命九卿、詹事、科道官再議。第二天，召九卿等說：“伯行居官清正廉潔，噶禮的操行我不能相信，如果沒有張伯行，那麽江南必然受到他的盤剝，大概要達到壹半地區。這次二人互相參奏的案子，起初派官去審理，被噶禮阻撓，以致不能得到其中的真實情況；再派官去審理，與前面的意見沒有區別。妳們應能體會我保全清官的心意，要使正直的人沒有什麽疑慮和恐懼，那麽天下將會出現安定的局面。”於是奪去噶禮的官位，命張伯行復職。
五十二年，江蘇布政使壹職缺員，張伯行上疏推薦福建布政使李發甲、臺灣道陳(王賓)、前任國子監祭酒余正健，而皇上已將湖北按察使牟欽元提拔就任。不久，張伯行彈劾欽元將通海盜的罪犯張令濤隱藏官署中，請求逮捕治罪。令濤的哥哥元隆住在上海，造海艙，出入海洋，擁有大量資產，交接豪貴。趕上刑部下檄文搜緝海盜鄭盡心余黨，崇明水師捕住壹條漁船，此船的主人是福建人，卻假冒華亭籍，經過查驗船照，知是元隆所代領。張伯行準備壹追到底，當時令濤在噶禮府內任職，元隆托病逃避逮捕，案子未結卻死於家中。噶禮先前彈劾伯行，曾抓住這件事作為七條罪狀之壹。正巧上海縣百姓顧協壹起訴令濤占據他的房屋，另外還有幾處水寨窩藏海賊，聲稱令濤現在居住在欽元官署中。皇上命總督赫壽調查審理，赫壽庇護令濤，以通賊事查無實據而上報。皇上又命張鵬翮及副都禦史阿錫鼐調查此案，張鵬翮等奏報元隆、令濤都是良民，請求奪去張伯行的官職。皇上命復查，並讓張伯行自己陳述。伯行上疏說：“元隆通賊，雖然上報已死，然而他財產豐厚，黨徒也多，人人可以冒名，處處可已領到執照。令濤是顧協壹首先告發的，如果顧協壹舉報不實，照例應以誣陷治罪。由於欽元庇護，致使此案久懸未決。我作為地方長官，應該在事情剛剛發和時即加以防止，怎能不追究呢？”張伯行解任之後，張鵬翮等仍以他誣陷良民，挾私報復，要求斬首。刑法部門討論同意這壹建議，而皇上卻免了張伯行的罪，調他到京城來。
不久，張伯行到南書房任職，兼代理倉場侍郎，並充當順天鄉試的正考官。後授為戶部侍郎，兼管錢法、倉場，又充當會試副考官。雍正元年，提升為禮部尚書，皇上賜他“禮樂名臣”的匾額。二年，皇上命令他到闕裏崇聖祠進行祭祀活動。三年，去世，七十五歲。張伯行留下遺疏，請求推崇儒學，獎勵直臣。皇上悲痛悼念他，贈太子太保，謚清恪。光緒初年，準許附祭於孔子廟。
張伯行剛成進士時，回家鄉南郊建造了壹座精制的房屋，擺上了數千卷書以供縱情觀覽，看到《小學》、《近思錄》，以及程、朱的《語類》，說：“進入聖人的門庭在這裏呀！”他曾全力找到宋代理學四大學派周敦頤、程顥、程頤、張載、朱熹各位大儒的書，壹邊誦讀壹邊抄錄，前後***七年。最初任官時曾說：“聖人們的學問，概括為壹個‘敬’字，所以學習沒有比掌握敬更重要的。”因此他自號為“敬庵”。又說：“君子懂得義，小人只知利。老子貪生，信佛的人怕死，烈士追求名聲。這都是屬於利。”在官時所招致的，都是學問醇正、誌向操行清廉的人，而且開始不讓他們知道自己是做官的。平時對於意見不合的人，也仍與他們***事，開誠布公，同心協力，沒有壹點怨恨。他說：“已得到皇上的保全，怎敢以私而廢公呢？”所著郁困學錄入《續錄》、《正誼堂文集》、《居濟壹得》各種書