《潘文公遺》總結了潘人生管理的要領，是他的次子潘於鹹豐四年(1854)所編。全書五千余字，涵蓋了潘“讀書、立品、任職、理事”的經歷。
《讀書遺產》中關於讀書的訓誡離不開兩個問題:讀書的目的和讀書的方法。讀書有兩個目的，即入德和讀書。所謂“入德”，就是註重品德的培養。潘認為，讀書不僅可以增長見識，更重要的是書中的壹些至理名言可以錘煉人的性格，使人的道德境界達到壹種“越精進，氣越平和，心越低沈”的高度；所謂“學”，就是把學到的東西運用到實踐中去。潘認為“讀書就是琢磨，就是實踐”，主張把從書上學到的東西運用到實踐中去，為國計民生做點貢獻。
關於讀書的方法，最重要的有兩點，就是書的選擇和讀書的心態。
選書要以“史書”和“實用書”為主。文公認識到讀歷史可以增長知識和經驗。這是因為“因亂興亡，善惡分明，足以檢驗鏡中得失，眼前形勢有把握。”另壹方面，他也強調兒孫要多讀“適用”和“有用”的書，這些書可以分為兩種:壹種是有益身心修養的，壹種是實用的書。
讀書，心態尤為重要，潘的讀書觀值得欣賞。第壹，讀書是壹件嚴肅的事情，需要兒孫親自整理書屋，營造整潔、嚴肅的讀書環境；第二，讀書要有拼搏精神，要求子孫“剛滿十四歲決不快樂，勤讀書，忌輕狂，決不變心，決不半途而廢”；第三，讀書要有謙虛的態度，告誡子孫不要自滿，要經常反省自己，要向別人學習；第四，重要的是在讀書中培養自己的修養，在科研中丟掉第壹名，保持心態平和。
另外，我對閱讀的後續性行為作文也有壹些體會。他認為，壹篇好文章必須具備以下幾點:第壹，誌存高遠；二是內容充實，推理簡單透徹；第三，要有真情實感；第四，要創新。這些觀點對我們現在的閱讀和寫作仍有參考價值。
謹慎為官和重視人才是潘為官的兩個特點，尤其是前者。為官謹慎，體現在議公務、辦公務、待人接物上。第壹，在政策討論階段，既要樹立全局觀念，又要堅持實事求是的原則，避免“創新”和“分歧”。當討論陷入僵局，事務錯綜復雜時，要堅持突出重點的原則，找到主要矛盾的主要方面，仔細核對事情的輕重緩急。“不要魯莽，不要急躁，冷靜安排，下次再憋著，就不急了。”第二，在政策執行階段，既要堅持公平正義原則，又要體察民情。體察民情絕不是偏袒，凡事都要說好，但要找到政策的漏洞，以便補救。否則就是“有失偏頗，即不公平也不公平。”嚴於律己是政策落實的保證。無論大事小事，都要謹小慎微，始終如壹，否則會導致官員玩忽職守之風盛行。第三，如何處理與同事的關系。首先，我們要保持壹個正確的態度，與人交往要保持平和謙虛的心態。其次，要註重團隊合作。在討論事情的時候，要善於聽取別人的合理建議，不要壹意孤行。最後，壹定要摒棄地域觀念，不能因為老鄉而拉幫結派，阻礙工作的順利進行。
對人才的重視體現在三個方面:人才選拔、官員任用和對後代的規勸:
在人才選拔方面，潘認為能寫豪放文章的科舉應試者都是有真才實學的人才，應該入仕。在官員的任用上，要選擇熟悉業務、努力工作的官員加以重用，這樣才能“互相商量，壹心壹意，才能把事情處理得盡善盡美。”他還教育後人在人才選拔上要盡心盡力，認真履行考官的職責，堅持公平公正的原則，與同仁團結合作，認真審讀學者的文章，才能廣納賢才，取文的標準要符合國家的有關規定。
立業之道可以分為兩個方面:修身養性和內外擇友。
關於修養。第壹，要註重“養心”，強調靜以養心。無論順境逆境，都要通過專心聽聖人的話來保持內心的平和與安寧；第二，壹定要忠誠，不管是不是“有意，站出來做事”，壹定要忠誠，不能有不近人情的意見。如此，“身享忠義之福，子孫後代食忠義之報”；第三，要提倡節儉，哪怕“壹粥壹飯來之不易”，既能保持身心健康，又有利於誠信的形成；第四，在有余力的前提下，提倡行善不求回報；第五，做人要謹慎，要“忌胡說”、“不議論人的短處”、“不搬弄是非”，因為災難往往是從我們的嘴裏出來的，俗話說“胡說八道，就會惹事。”除此之外，潘世恩還強調了許多修身養性的必要努力，如尊師重道、不苛責仆從、不懶惰浮躁、寬容謙讓等。
選擇朋友要小心。潘認為，好朋友可以幫助自己向善，糾正自己的錯誤，給予自己道義上的幫助，“足以身心的幫助”；對於那些酒肉朋友，因為他們尖酸刻薄，討論人的是非，與之交往，有害無益，還是遠離為好，這樣“當妳和嚴師益友日夜討論時，會感到日新月異”，妳的道德境界就會潛移默化地提高。