在中國傳統文化中，把紅豆稱為相思豆其實跟兩個個典故有關系，這兩個個典故所表達的主旨均是愛情相思之苦，所以紅豆就逐漸演化成了相思的代名詞。此外紅豆周身紅色，古人以紅色為赤城之色，更能表忠心，形狀圓潤，屬於比較常見之物，所以久而久之，紅豆就成了相思的代名詞。
古代戰亂比較頻繁，男子壹成年就要服兵役，當兵打仗成為了每個成年男女的心病。但是國家興亡匹夫有責，所以每個男子都有這樣保家衛國的任務。相傳，有這麽壹個男子，平日裏和妻子恩恩愛愛，到了服兵役的時刻，與妻子含淚永別，這壹別就是遙遙無期。妻子日日夜夜的守在分別的山坡上等著心上人的歸來。可是日復壹日，年復壹年，她的心上人再也沒有歸來，但是整個山坡被女子的淚珠灑遍了。後來，山坡上長出壹種樹木，這種樹木結紅色的果實，人們很是驚奇，便稱這種紅色的果子為相思豆。
此外還有壹種說法，說是戰國時期，宋康王有壹名仆人叫韓憑，韓憑世世代代在宋康王家裏為仆人，後來娶了壹個貌美的妻子何氏。何氏生的落落大方，是百裏挑壹的美女。兩個人恩恩愛愛，也屬神仙眷侶。但是壹天，宋康王看到了何氏的美貌，垂涎不已，就想方設法找了個莫須有的罪名把韓憑殺害了，準備把何氏占為己有。可是就在韓憑死的當晚 ，何氏竟然自盡隨丈夫西去。宋康王良心發現，發二人葬在壹起。不久之後，二人的墓前長出了紅色的小果子，人們為了紀念韓憑和何氏的愛情，稱這種小果子為相思豆。
到了唐朝，王維的壹首詩傳遍天下，紅豆生南國，春來發幾枝，願君多采擷，此物最相思，更是把紅豆和相思豆聯系在了壹起。於是後來在中國的傳統文化中，紅豆就成為了相思的代名詞。