愛因斯坦小時候並不活潑，三歲多還不會講話，父母很擔心他是啞巴，曾帶他去給醫生檢查。還好小愛因斯坦不是啞巴，可是直到九歲時講話還不很通暢，所講的每壹句話都必須經過吃力但認真的思考。
在四、五歲時，愛因斯坦有壹次臥病在床，父親送給他壹個羅盤。當他發現指南針總是指著固定的方向時，感到非常驚奇，覺得壹定有什麽東西深深地隱藏在這現象後面。他壹連幾天很高興的玩這羅盤，還糾纏著父親和雅各布叔叔問了壹連串問題。盡管他連“磁”這個詞都說不好，但他卻頑固地想要知道指南針為什麽能指南。這種深刻和持久的印象，愛因斯坦直到六十七歲時還能鮮明的回憶出來。
愛因斯坦在念小學和中學時，功課屬平常。由於他舉止緩慢，不愛同人交往，老師和同學都不喜歡他。教他希臘文和拉丁文的老師對他更是厭惡。