謝賢在七十年代時，首先遇到容顏靚麗的美女甄珍，在當時華語電影興盛時期，甄珍可算是光芒閃耀的女星之壹！當時謝賢雖然外表瀟灑英俊而風流倜儻，但是由於他年齡偏大，而且曾經有過幾段眾所周知的失敗戀情，另外媒體也經常渲染他的風流韻事，所以謝賢和甄珍之間的婚戀，遭受到甄珍家裏的父母親人們的堅決反對！然而，甄珍則不顧家裏反對，最終她和謝賢於七四年結婚而成立家庭！當然，這段婚姻僅僅維持了四年，離婚後的甄珍則再次嫁給了名流劉家昌，而謝賢不久也開始了和狄波拉的戀情！
除了大玩特玩之外，謝賢也有正經、深情的壹面，他在節目中無所不談，當中包括他的艷史。除了生命中四個女人，他還談及關於乖仔霆鋒及媳婦張柏芝的內心感受，他笑說：“這次的主題是《風流快活墨西哥》嘛！所以無所謂，我會表白，怎樣做好男人榜樣，可以風流而不下流，什麽事都可以講！”
“四哥”謝賢壹向風流，以前霆鋒未結婚，有人已經說四哥的女友比霆鋒的女友年齡還小。現在兒子結了婚生了孩子，四哥做了爺爺，現在依然魅力非凡。
謝賢早前帶女友到墨西哥為無線節目拍外景，向來貪玩的他可謂“色膽包天”，不但試跳世界最深的地下水洞，還敢嘗有壯陽功效的“催情蟲”。據悉，他還談及關於乖仔霆鋒及媳婦張柏芝的內心感受，借用當期電視的主題表示，男人“可以風流但別下流”。
這句話無疑是給張柏芝壹個漂亮的耳光，這個耳光是那麽的間接，沒有壹點聲音，大家都知道謝賢是什麽的人，在娛樂圈的四哥壹直是那麽的風流快活，，今天從四哥嘴裏說出可以風流但別下流”。實在讓後記驚訝，是他把下流和風流分的很清楚？還是間接的罵那個姓陳的，反正都是給了張柏芝壹個漂亮的耳光。
連老人都不放過的，因貪靚、風流而出了名的謝賢除了為自己的風流史自豪外，四哥還繼續發揮他到處留情的本色 雖然四哥總是能大享艷福，風流歸風流，畢竟不是下流。所以謝賢才能說出那句話。