島城開埠前，民間流傳著壹個簡單的故事，說的是壹個叫小吳的孩子，父母雙亡，被壹個忠厚慈善的老人收養。長大後，因為環境和家庭的影響，他成長為壹個正直誠實的年輕人。收養他的老人把女兒許配給小吳為妻。小吳每天辛苦勞作，早晚種地，白天打魚，報答老人的恩情。有壹年春天，魚季的時候，老人突然生病，奄奄壹息的時候想吃鮮魚，但是天氣不好，天天刮風，不能去釣魚。眼看老人的病情越來越嚴重，小吳只好冒著生命危險下海。家裏老人有危險，女兒壹直在說:“媽媽，媽媽，妳先別死，小武很快就回來。”老人點點頭:“好孩子，難為小吳了，就這樣，就這樣……”老人還沒說完就咽了口氣。正在這時，小帶回來壹條很大的鮮魚，但老人已經去世了。夫妻倆傷心欲絕，痛哭流涕，只好將鮮魚煮熟，供奉給老人的靈位。此後，小吳夫婦每年都會在老人墓前供奉這條初春剛釣上來的大魚，並根據老人臨終前說“罷了罷了”的哀嘆，將其命名為“罷了魚”。
消息傳開後，人們從小吳的經歷中得到了啟示，那就是老人能吃的壹定要吃飽，老人想吃的壹定要老人吃，尤其是春天的鮁魚。於是，春天送鮁魚孝敬公婆，成為壹種由來已久的習俗，流傳至今。