雖然性格狂野倔強，但哈利在南平縣擔任儒學教師四年的成績有目共睹。於是在嘉靖三十七年(1558)春，升任浙江兗州府淳安縣令。經過大量研究，他認為地方官員“剝人皮奉承人，多受其害”，這是直接的。針對這種情況，海瑞進行了壹系列的改革，不畏強權，哪怕觸及朝廷權貴，因此成為歷史上有名的“縣令”。
嘉靖二十八年(1549，35歲)，海瑞在瓊州參加鄉試，撰寫《禮治策》，分析李在海南不斷受難的原因，提出開十字路的主張，因而獲獎。嘉靖二十九年(1550)和三十二年(1553)，連續兩次進京，均以失敗告終，決定放棄科舉。這壹年，哈裏接受吏部的任命，到福建省南平縣擔任神諭，開始了仕途的沈浮。
恪守老師不肯討好的“海筆架”。嘉靖三十三年三月，海瑞被發配到福建延平府南平縣當老師。延平府是當時福建十城之壹，南平是大郡之壹，儒學歷史悠久，設施較為完備。縣儒是壹個縣的最高教育機構，甲骨文是最高官員，但地位很低。《正史》雲:“郡，壹人教，二人教。”可以說，甲骨文壹職，在比較完整的封建官制史上，連“九級芝麻官”都算不上。但對於身為知識分子的哈利來說，這是壹個有榮譽感和使命感的職位。他後來在《改革推進條例》中寫道:“教導員主管壹城之教，門下皆美事。壹切都不同於庸俗官員的訴訟。當老師會有很多好人的。推之不淺。”這是對甲骨文這個崗位的認知，也是壹個人使命感的體現。
明代中後期以來，社會風氣日益敗壞，郡縣校紀遭到嚴重破壞，鮮有學生品學兼優。作為縣儒學之首，海瑞上任之初，就根據朱在白鹿洞書院講學時定下的五條學習規則和朱弟子傅漢卿總結的“六學”，結合自己在瓊州求學時的親身經歷和南平縣儒學的實際情況，制定頒布了《教約》第十六條。《教約》對學生的修身、處事、待人接物，甚至作息、禮儀等都做了明確的規定。，並告誡他們要有知識、有疑問、有思想、有鑒別力、有信義，這對整頓學風，提高學生的道德修養和知識水平起到了應有的作用。
在哈利看來，接受教育的重要前提是道德教育，所以《教約》第十六條中有相當多與道德教育相關的內容。比如第九條明確規定:“學生接待貴客時，很清楚所有的書裏都有禮儀。以後在明倫堂見官，不準下跪，上學前也要打招呼。我們學校會在郭外接待壹個官員，不準出大門，不準出農村。賢四官來本縣，不準與他三日。在各衙門犯罪，不脫帽磕頭，自取其辱，自取其辱。”作為知識分子，要有相應的骨氣，絕不能卑躬屈膝，自甘墮落；作為學校，要維護老師的尊嚴。哈利這樣說，並樹立了榜樣。南平儒學的成就引起了上級的重視。建議來視察工作，哈利去見了兩個教官。在古代官場，下屬向上級打招呼、鞠躬是常事。面對上級，兩個教官跪下互相打招呼，但哈利拒絕討好他們，只站在他們中間握著拳頭。這三個人兩低壹高，儼然壹個筆桿，讓禦史大為惱火，斥責哈裏不懂為官之禮，嘲諷他為“安得筆桿帶山字”。然而，面對申斥，哈利不僅不認錯，反而慢吞吞地說:“這個大廳，老師和牧師，不應該受委屈。”(《明史》)意思是學校是教書育人的神聖之地，不應該跪拜。因為這令人震驚的壹站，哈利從此被戲稱為“筆筒博士”。
被稱為“筆筒博士”讓哈利非常生氣。另外，他對官場非常失望，主動提出辭職。這時，時任福建侍郎的朱恒邀請哈裏到正義學院學習。在朱恒的再三勸說下，哈裏很快就以傳教士的身份回到了南平。時間長了，哈利習慣了“筆筒博士”的稱號，甚至壹度將它與自己的名字“馮剛”相提並論。
擔任南平郡儒諭壹職是海瑞仕途的起點，而他在此期間獲得的“筆架博士”的綽號恰恰顯示了他為官的人格特征。他後來的事業發展和挫折，主要是因為這種不懂奉承的性格。哈利之所以名滿天下，名留青史，也是因為他倔強的性格，促使他除惡務盡，鐵面無私。
清末民初海南地方名人王在《海中年譜》中說:“公在南平四年多，受禮教。他傳道授業解惑，以義治國，壹壹實事求是，不受通俗之學的影響。這是系裏最難的壹門課。在這壹點上，巡視是主管推薦的。”雖然性格剛愎自用，固執己見，但海瑞在南平郡擔任儒諭四年的成績有目共睹。此外，“海筆筒”這種不為權貴服務的剛正不阿的性格也得到了壹些人的欣賞。於是在嘉靖三十七年(1558)春，升任浙江兗州府淳安縣令。
淳安縣山少地瘠。山上只產茶、竹、杉、柏，人民生活十分窘迫。哈裏上臺後，“壹開始有壹半以上的人看完書就逃了”。經過廣泛調查，他認為地方官員“剝民以諂媚，多科重金”，直接導致老百姓“累困不能安身，簡單直爽打不過漢奸。”針對這種情況，海瑞進行了壹系列的改革，不畏強權，哪怕觸及朝廷權貴，因此成為歷史上有名的“縣令”。
海瑞淳安上任的時候，正是嚴嵩專權時期，從上到下貪汙成風，淳安也不例外，但他特立獨行，說了壹句打地板的話:“做天下壹切事，不可收受上官賄賂，不可妄動；為上官做天下第壹也不丟人！安科本人就是個山溝！“意思是天下所有的官員都不向上級行賄，所以不能升官？全世界的官員都向他們的上級行賄。不能降級撤職嗎？這怎麽能自欺欺人呢？在那個到處都是汙穢的時代，哈利真的用自己高尚的人格擺脫了汙垢。
淳安縣雖然窮，但地處新安江下遊，是水陸交通樞紐。各路官僚經常路過，地方當局不得不出面接待。比如普通官員路過，就要二三十兩銀子。巡視禦史等監察官員，要花120兩銀子，巡撫巡視要花3400兩銀子。同時，他們乘船需要壹個任命船夫的地方，陸路需要壹個支付馬匹勞力的地方，給當地人民帶來了深重的災難。海瑞在淳安提倡節儉，對上級官員的接待也保持簡樸。他還以身作則，讓妻子親自下廚，在自己的院子裏種菜，並派仆人出去撿柴火，以節省日常開支。甚至在給母親過生日的時候，他也只買了兩斤肉，這對於時任江浙等七省總督的胡宗憲來說，簡直是笑話。
上級的“秋風”不畏強權。* *海瑞不畏強權，最終很多官員都怕他的名字。歷史上流傳著兩個典故，可以很好的說明哈利的性格和官性。有壹次，胡宗憲的兒子隨隨行人員到淳安縣耀武揚威，因接待不周而大發脾氣，甚至把驛務員捆綁起來吊在樹上。海瑞只好帶人過來，胡公子當場被訓斥。他沒收了隨身攜帶的大量白銀，充入官方國庫。他還給胡宗憲寫了壹封信，說* * *總督過去曾下令各地不得招待官差。現在這個人如此招搖，要求待客，那麽肯定不是總督的兒子，而是壹個正在敗壞總督名聲的冒名頂替者，建議嚴懲。胡宗憲收到哈利的信恨得咬牙切齒，但他知道自己錯了，只好忍氣吞聲。他還不得不說哈利幹得不錯。如果說這個故事有誇張和誇張的地方，那麽哈利處理妻子的經歷是毋庸置疑的。
作為顏嵩的心腹首輔，陳崇慶曾任浙江鹽政宰相、淮北等地左副都。首相的鹽政策是壹項有利可圖的工作。此外，禪青憑借嚴嵩的權勢，到處受賄勒索，殺殺他的小老婆的威風，大手大腳，卻標榜她“素樸，不喜見面”，給各地帶來了很大的負擔。哈利得知禪八清要來淳安，於是給他寫了壹封信，讓他無話可說，自覺繞道而行，索然無味。這就是著名的“揭發首都學院的帖子”。在這封信裏，哈利說，妳說妳總是喜歡簡單，不喜歡歡迎人。我相信妳是真心為國為民，不是壹句空話。不過，最近聽到各地傳言，說妳到哪裏都買酒席，每桌酒席要三四百兩銀子。都是山珍海味，供應非常豪華。甚至連小便池都是用銀做的。淳安縣是個窮縣，如果按傳言辦，那是負擔不起的，也有違大人形象。但我們又怕這個謠言是真的，不按高標準接待，會得罪大人。我們左右為難，不知道該怎麽辦，請在這裏說清楚。哈利的書真誠卻委婉，讓他氣得發抖卻又說不出話來，只好繞過淳安，去了別處。
海瑞因為固執和畏權得罪了胡宗憲、陳情等權貴，但他們又怕海瑞清廉的名聲，不敢貿然辭退他。他們指示食鹽檢查員袁春想辦法彈劾和陷害哈利。哈利馬上寫了壹份《封印之印》，自信自己堅持聖賢之道，按照皇帝的旨意行事，問心無愧，讓他無言以對，憤然放棄。不久，有人推薦海瑞為嘉興副縣長，陳慶和袁春從中作梗。他們以程序不當為由向朝廷舉報，最終於嘉靖四十壹年(1562)年底調任江西興國縣令。在興國，海瑞不斷為百姓辦實事，* * *出了很多冤假錯案，受到百姓歡迎，被稱為“海天”。嘉靖四十三年(1564)冬，在吏部高級官員盧光祖的推薦下，海瑞赴京擔任戶部雲南司司長。在北京任職為哈裏提供了更廣闊的展示政治才能和宣傳道德品質的平臺。