南宋滅亡後，翁森立誌不再做官，隱居教授。元至元年間，建安洲書院於縣東南二十五裏得崇教裏(翁的居所)，以朱熹白鹿洞學規為訓，堅持以儒術教化鄉人。從學者先後達八百多人。元代廢科舉，鄉裏人甚少攻讀，學風日下，本縣地處窮僻，文化尤其日衰，經翁森的力挽，耕讀之風又"彬彬稱盛"。翰林學士陳剛中曾為之作《安洲鄉學記》。
至元二十四年(1287)，道士翁道全於縣東南三十五裏建葆真書院，翁森為之作記，所著有《壹瓢稿》。內《四時讀書樂》壹文，膾炙人口，被選編入民國時期的初中國文課本。墓在下支村下翁山。清道光十四年(1888)秀才王玉、王鶴年重修，程章作碑記。
創辦安洲書院
書院規模
據《翁氏宗譜》卷之四《行第》所載:"(森)建鄉學以淑教子弟，乃構書舍三十楹，安教近遠異邑諸生"。這指的是他在至元年間(1271-1294)於縣東南二十五裏的自家居所創辦安洲書院壹事。他取"朱文公(朱熹)白鹿洞學規以為訓"辦學並親自講學授徒，先後"從學者達八百多人"。
他學識淵博、治學嚴謹、辦學有方，所辦的安洲書院校容美、學風好，生氣勃勃、書聲瑯瑯。他的好友陳剛中(臨海人，官至翰林待制)奉使西川後回來，造訪了他的書院，作了《安洲鄉學記》，對書院的運作狀況有真實的記載:"踵其藩，其植秩然，升其著，其琴瑯然，履其奧，其籍秩然。既而諸生魚貫以登，逢衣大帶，俯伏罄折，其容肅然，其氣充然，退而弦誦之聲隱隱若金石然"。
有名學子
安洲書院的莘莘學子，有許多來自鄰縣。有據可考的如:周潤祖(臨海人，學者，書法家)、楊同翁(臨海人，學者，詩人，曾授饒州慈湖書院山長)、項炯(臨海人，學者，詩人，項斯第十三世孫)、陶德生(臨海人，學者，詩人)等等。這些人皆學識淵博、品行高潔，在社會廣有聲譽，但受其師的影響，許多人隱居不仕。
教育有方
翁森的嫡孫翁復吉，為翁的長子得輿之子，是翁森46歲時出生的，他是至正辛卯年的鄉貢進士，於次年春會試(元代於仁宗皇慶二年恢復科舉)，以詩經科考得天下第壹名，後授黃巖判官。復吉親受過祖父教導，研讀祖父詩文，學成名就，詩風極類祖父。