“唯女子與小人為難養也，近之則不孫，遠之則怨”。（《論語·陽貨》。下引《論語》，只註篇名。）被普遍認為是孔子鄙視婦女和體力勞動者的論據。連海外真心尊崇孔子者也覺得難予諱言，無可奈何地說：“孔夫子就這句話說錯了”。
孔子是歷史人物，雖然他站在人類的立場，從歷史的高度超越了時代和階級的局限；但他畢竟生活在現實中，不能不受現實的影響。他說的話，不僅在今天，就是在當時，也不可能“句句是真理。”有些話即使在當時就明顯的錯了。比如：“葉公語孔子曰：‘吾黨有直躬者，其父攘羊，而子證之。’孔子曰：‘吾黨之直者異於是。父為子隱，子為父隱，直在其中矣。’”（《子路》）就不符合孔子思想的精神。曾子之徒寫的《孝經》就作了修正：“曾子問孔子：“敢問子從父之令，可謂孝乎？’子曰：‘是何言與，是何言與？昔者天子有爭臣七人，雖無道，不失其天下……父有爭子，則身不陷於不義。故當不義，則子不可以不爭於父……故當不義，則爭之。從父之令，又焉得為孝乎？’”（《諫諍》）東漢經學家趙歧在其《孟子章句》中註“不孝有三，無後為大”（《孟子·離簍上》）曰：“於禮有不孝者三事：謂阿意曲從親不義，壹也；家貧親老，不為祿士，二也；不娶無子，絕先祖祀，三也。三者之中，無後為大。”（轉引自《十三經註疏》）這種背經合道的理解到荀子時就很系統很完整了。荀子說：“入孝出弟，人之小行也；上順下篤，人之中行也；從道不從君，從義不從父，人之大行也。……孝子所以不從命有三：從命則親危，不從命則親安，孝子不從命乃衷。從命則親辱，不從命則親榮，孝子不從命乃義。從命則禽獸，不從命則修飾，孝子不從命乃敬。故可以從而不從，是不子也；未可從而從，是不衷也。明於從不從之義，而能致恭敬忠信端身以慎行之，則可謂大孝矣。傳曰：從道不從君，從義不從父，此之謂也。”孔子斥責認為“子從父命孝矣，臣從君命貞矣”的子貢曰：“小人哉賜不識也”（《荀子·子道》）。看來，孔門嫡傳，都悄悄但又積極地在修正孔老夫子的錯誤，而俗儒則惡性發展為為尊者諱、為親者諱、為賢者諱的“三諱”。秦漢以來又歸結為壹諱：為君諱，不僅諱君之過，而且諱臣之功：壹切成就歸功於天子聖明，壹切過錯皆臣民罪過。留毒至今，仍被視為偉大的政治家風度。“子為父隱”是孔子原本說錯了，“君子儒”修正之，違經合道，繼承和發展了孔了思想；而“小人儒”惡性發展之，從經反道，歪曲敗壞了孔子思想。“唯女子與小人為難養也”壹語的命運更糟：孔子本來沒說錯，完全是後人有意或無意地歪曲或誤解了
從文字看，這句話，按照邏輯分析，“唯”如果是副詞，作“獨、只、僅僅”講，這是歷來普遍的用法。楊伯俊先生的《論語譯註》就是這樣譯的。意思是：只有“女子與小人”難養。但只有“女子與小人”難養，並非所有“女子與小人”都難養。則這句話是特稱而非全稱的命題。“唯”字還可作句首的語氣詞用，這樣，這句話的意思是“阿，女子和小人難養呀！”這雖不是壹個陳述句，但明顯地對事物有所斷定，可視為全稱命題。但從其含意分析，實則為特稱命題。前句是論斷，後句是論據：“近之則不孫，遠之則怨”是“女人與小人”難養的理由和表現，也是孔子所言“女子與小人”的界說：並非所有的女子與小人都難養，只是“近之則不孫，遠之則怨”的“女子與小人”難養。孔子所說的“女子”，並不等同於婦女，“女子”這些詞，只是婦女中“近之則不孫，遠之則怨”者。同樣，“小人”也不是男人中的體力勞動者，而只是男人中的“近之則不孫，遠之則怨”者。
從以上分析可見，“女子”和“小人”都決非泛指所有的婦女和體力勞動者。可惜，中國古代重視邏輯的墨家和名家，秦漢以後就衰微了，形成中國傳統文化在秦漢以來邏輯思想不發達。近現代學過西方邏輯學的學者，在關鍵時侯竟也率由舊章，不求甚解，滿足於以訛傳訛，籠而統之地把鄙視婦女和勞動人民的罪名強加在孔子頭上。
《論語》是孔子弟子及再傳弟子所記的孔子語錄，多定言語句，是經驗的總結，而非理性的邏輯的陳述，無推論過程，又省略了語言環境，把特定條件下的話壹般化，被賦予普遍意義，結果後人望文生義，各取所需，或以己度人地加以解釋、引用。比如，孔子說：“吾未見好德如好色者也”，在《子罕》和《衛靈公》重復出現。據《史記·孔子世家》載，這句話是在子見南子後說的。寫的很生動，衛靈公的寵妾南子不以得見孔子為滿足，還要公開炫耀，以擡高自己的身望。孔子“居衛月余，靈公與夫人同車，宦者雍渠參乘出，使孔子為次乘，招搖市過之。孔子曰：‘吾未見好德如好色者也。’於是醜之，去衛。”從而可以斷定這句話的語言環境。但“子見南子”其事卻又記在《雍也》章。我推測，“唯女子與小人為難養也”很可能也是在這件事之後講的。皆有所指：“女子”即南子，“小人”指好色的衛靈公，“難養”是針對二人講的：都難以相處和教養。後人囿於“小人”是體力勞動者，當權者都是“君子”的舊章，不作如是想。當然，這也只是推測。
以情理言，先說“小人”。 孔子在歷史上的偉大貢獻之壹是發現人——個體民的人格和價值（西方比孔子晚八十余年的蘇格拉底首先發現人）。把匹夫匹婦的意誌提高到神聖不可侵犯的高度：“千軍可奪帥也，匹夫不可奪誌也。” （《子罕》）連社會地位最低下的馬夫也當人看：“廄焚。子退朝，曰：‘傷人乎？’不問馬。”（《鄉黨》）在不同的價值標準並存的過渡時期，他率先肯定、倡導新的以道德學問取代權位財富為標準的君子小人觀，固然主要是認識基礎上的理性思考，也還有個切膚之痛的感情問題。孔子三歲喪父，孤兒寡母，離家出走，被社會冷落和遺棄，歷盡艱辛，激起了“吾少也賤”，故能多鄙事”（《子罕》）的孔子對公道。正義社會的追求：“吾十有五而誌於學（道）。”（《為政》）在他以“年少好禮”知名，且以教書為生以後，還遭到上層社會的歧視和拒斥：“孔子要至，季氏饗士，孔子與往。陽虎絀曰：‘季氏饗士，非敢饗子也’。”（《史記·孔子世家》）舊的等級觀念扼殺新生力量，使其感觸很深。
正是基於這種新的價值觀念，才生發出以仁為核心的儒學體系。仁的主要對象是平民百姓：“泛愛眾”（《學而》）的“眾”自然不分男女，都要“庶之，富之、教之”（《子路》），做到“近者悅，遠者來。”（《子路》）“四方之民繈負其子而至矣”（同上），這從善如流的“四方之民”指的當然是體力勞動者。正因為發現“性相近”（《陽貨》）的每個人的本質壹樣，人格平等，才能真心誠意地平等待壹切人，特別是平等待普通百姓；既不神化當權者，更不會神化自己。所以“仁”不是自上而下的恩賜，而是突破“禮不下庶人”（《禮記·曲禮上》）地“道之以德，齊之以禮”（《為政》）。不僅“己所不欲，勿施於人”（《顏淵》）。而且“己欲立而立人，己欲達而達人”（《雍也》）。不僅“有教無類”（《衛靈公》），人人都有受教育權；而且“學而優則仕”（《子張》），人人有參政權，都可以在修身、齊家、治國、平天下的事業中成就君子乃至聖人的人格。顯然，“小人”不是體力勞動者，而主要是有舊“君子”身分而品質惡劣者。如孔子所恥所惡的“巧言令色足恭……匿怨而友其人”（《公冶長》）者，“邦無道，富且貴焉”（《泰伯》）， “佞者”（《先進》）， “不成人之美而成人之惡者”（《顏淵》），“難事而易說”（《子路》者，“同而不和”（同上）者，“驕而不泰”（同上）者，“不可大受而可小知”者，“窮斯濫”者，“群居終日，言不及義，好行小惠”（《衛靈公》）者，等等，說的都是有君子名位而無君子德行者。如果承認《論語》篇章次序有內在聯系，《陽貨》篇列舉了各種類型的“小人”，如“鄉願”、“道聽而塗說”者，“鄙夫”、“巧言令色”者，“紫以奪朱”者、“利口以覆邦家者”、“飽食終日，無所用心者”、“有勇而無義為亂”者、“稱人之惡者”、“居下而訕上者”、“勇而無禮者”、“果敢而窒者”、“僥以為知者”、“不孫以為勇者”、“訐以為直者”之後，緊接著總結性地說：“唯女子與小人為難養也”，就更清楚：“小人”絕非壹般的體力勞動者，而主要是有君子名位而為小人行徑者。