當愛因斯坦遇到他的第壹任妻子米列娃時，他充滿了激情和浪漫。當時，米列娃就讀於德國壹所綜合中等技術學校。人們這樣描述這個來自伏伊伏丁那的塞爾維亞女孩:“
可愛，害羞，善良，單純，謙虛。但是同齡人都覺得她缺乏身體上的吸引力，朋友都說她是個很好的女孩，只是太認真太文靜了。看著她，很難認為她很聰明。”他們還形容她“骨瘦如柴，柔弱平凡”，有點跛腳。
另壹方面，愛因斯坦是壹個英俊的年輕人。他五官端正，壹頭濃密的黑發，壹雙溫暖的眼睛。雖然他對所有形式的體育鍛煉都不感興趣，但從青年到中年，他肌肉發達，精力充沛。
他們之間的友誼慢慢變成了浪漫的愛情。這讓愛因斯坦的熟人大吃壹驚。有壹次他的同事暗示米列娃的瘸腿，說:“我絕對不會娶壹個身體不是最好的女人。”。愛因斯坦平靜地說，“但是她的聲音多麽美妙啊。”
人們認為愛因斯坦是因為米列娃的精神力量和智力而迷戀她，而忽略了她的外貌。愛因斯坦壹生笨手笨腳。米列娃比他大三歲，很早就學會了做家務。她在大學的時候，可以做好吃的飯，自己剪衣服，所以在生活上可以無微不至地照顧愛因斯坦。
他們的關系從壹開始就遭到愛因斯坦母親寶琳娜的反對。當她意識到兒子這次很認真的時候，她表現出了明顯的敵意。她對塞爾維亞人有固有的偏見。她不信任米列娃，不僅因為米列娃比愛因斯坦大三歲，還因為她有殘疾。她認為米列娃想把兒子推入泥潭，他們當時同居是不雅的。然而，來自家裏的反對事與願違，這加深了愛因斯坦對米列娃的愛。不久，米列娃發現自己懷孕了。那時候，對於壹個年輕的女人來說，真的不是壹件光彩的事情。她遠離父母，離考試還有兩個月。以後還有很多實際問題要考慮。但是米列娃崇拜和熱愛愛因斯坦，並為有了他的孩子而自豪。愛因斯坦當時去了蘇黎世，米列娃寫信通知了他這件事。愛因斯坦回信表達了他的喜悅，但他說他還沒有做好當父親的準備。他講述了不久前發表的壹篇物理學論文是如何激勵他的，說他只能和米列娃壹起考慮未來。
米列娃在1902生了壹個女兒。由於難產，她虛弱得連給愛因斯坦寫信的力氣都沒有。沒有關於這個孩子的出生記錄。人們認為她出生在遠離瑞士的地方，或者可能是在米列娃父母的家裏。米列娃的父親就此寫信給愛因斯坦。很快，愛因斯坦在回信中表達了對愛人的同情，並在信中提出了壹系列問題:女孩健康嗎？胃口好嗎？誰在餵她？然而，沒有資料表明愛因斯坦壹生中見過他的女兒麗賽壹次。他似乎更關心如何擺脫父親的責任。他沒有跟任何人說起這件事。幾個月後，女孩從他的生活中消失了，他至今不知道自己是死是活。如果他還活著，他應該有90多歲了。
愛因斯坦微薄的收入可能是因為女兒的忽視，雖然這並不影響愛因斯坦與米列娃訂婚後的共同生活。如果米列娃生了個兒子，愛因斯坦可能會有不同的態度。不排除女孩是因為生病致殘而被遺棄的，但這些都只是猜測。
孩子的出生改變了兩個人的關系。壹位傳記作者引用愛因斯坦的兒子漢斯的話說:“女兒的事情成了他們婚姻中的壹個結。”米列娃經常反省和自責。看得出來，她不想和女兒分開，以為是愛因斯坦逼她走這壹步的。晚年，愛因斯坦形容米列娃是壹個沈默寡言、多疑且容易憂郁的人。
後來，愛因斯坦遇到了他的第二任妻子伊萊紮。認識米列娃和愛因斯坦第二任妻子伊萊紮的人，認為後者更有魅力。淺色的頭發，藍色的眼睛，豐滿而奢華。但是她近視經常鬧笑話，頭發看起來也很亂。淩亂的頭發並不是唯壹提醒人們她和愛因斯坦來自同壹個小鎮的特征。他們都有大鼻子，擡高的額頭和結實的下巴。在他們結婚16年後，壹位參觀者發現兩人驚人的相似:都是又矮又壯，都穿著長褲和高領毛衣。
愛因斯坦覺得和伊萊紮在壹起很放松。他和伊萊紮的關系始於1912復活節假期的最後壹周。為了不引起米列娃的懷疑，伊萊紮把信送到了愛因斯坦的辦公室，愛因斯坦看完信後銷毀了這封信。但她小心翼翼地保存著他的每壹封回信。在信中，愛因斯坦表達了自己的內心正在遭受愛情的不滿，抱怨自己沒有機會“愛”這個壹見鐘情的女人。
漢斯回憶說，每天早上他的父親都是壹個人懶洋洋地躺在床上，晚上和朋友壹起彈鋼琴，還經常去朋友家做客。壹個朋友的女兒利斯貝斯後來成了米列娃的好朋友。她曾在日記中寫道:米列娃沈默憂郁。她患有風濕性關節炎，連走路都很困難。但她的問題並不是來自她的健康，而是來自愛因斯坦對另壹個女人的全神貫註和他對物理學的終生研究，這讓他無暇顧及家庭。
1913七月，愛因斯坦被推薦了壹份好工作。如果他同意，他將成為普魯士科學院的壹員，得到柏林大學的講臺和物理研究所所長的職位。沒有人會請他教書，所以他可以完全投身於科學。愛因斯坦接受了。米列娃不得不去洛迦諾，因為他的兒子同時患有流感、百日咳和中耳炎。
當他的妻子推遲他的啟程，愛因斯坦有更多的機會和他的愛人呆在壹起。米列娃於1914年4月中旬抵達柏林。有壹段時間，他們維持著看似正常的家庭生活。米列娃經常感到不開心，所以他非常想念蘇黎世。柏林的生活讓她更加壓抑和沮喪。她每天忙於家務，沒有朋友。1914年暑假，她帶著兒子回到蘇黎世。兒子們以為假期結束就要回德國了，但事實上，這只是父母婚姻結束的開始，米列娃在那之後再也沒有回到愛因斯坦身邊。
米列娃走後，愛因斯坦和伊萊紮結婚了。但是過了壹段時間，他們的婚姻沒能維持下去。愛因斯坦的兩次婚姻都以失敗告終。