在這個世界開始侵犯到他的私人生活之前，他一向是個友善的人。但是，在每天訪客逐日增加的情況下，他再也不能繼續維持那種溫和的脾氣了。過去，他對每一位客人都深表歡迎，不論是德國最著名的劇作家豪普曼，或是剛從波蘭來的窮苦學生（多半是要求愛因斯坦博士協助他進入大學就讀），他都一視同仁。
但現在，似乎每個經過柏林的人都想來拜訪這位害羞的教授了。有一天，一位活潑的年輕人前來拜訪，提出一筆優厚的酬勞，請愛因斯坦寫篇介紹自己的文章給他工作的雜誌，愛因斯坦冒火了。他咆哮說：「你們那份流行雜誌的讀者，不可能對我的研究工作發生興趣，我的生平故事與大眾毫無關係。我不是一個職業拳擊手，人們不會對我個人的瑣碎生活發生興趣的。」他毫不客氣地把這位不速之客轟跑了。接著有個膽小的小男孩偷偷地溜了進來，他希望愛因斯坦博士在他的籤名簿上簽名。愛因斯坦和他閒談了幾句，然後把他打發走，那個小男孩高興萬分。「這樣做真是有點蠢!」愛因斯坦喃喃說道。但是，他怎忍心讓一個孩子掃興呢？
隨後來訪的是位眼神渙散、衣衫襤褸的年輕人。他腋下夾著一個文件夾。他向愛因斯坦夫人請求，要見教授幾分鐘說：「我要把我最新的發明介紹給他，我知道他一定會感激我的。」愛爾莎盡了最大的力量，從每天來訪的眾多客人中選出幾位她丈夫願意接見的客人。當某個客人真的獲得接見時，她又要設法使訪問的時間不要拖太久。因為愛因斯坦為人和善，一旦有客人進入他的書房，就不好意思趕他走。有一天，一位學生獲得接見。最後該離開的時候，他站起來但看來並不願意走，愛因斯坦友善地問他：「有什麼需要我幫忙的嗎？不妨告訴我。」
那位年輕人有點躊躇：「您太好了，抽出寶貴的半個小時來接見我。我不敢有什麼奢求，只希望您能送我一張您的籤名照片，我會把它放在書桌上。在工作時，也許能給我一點靈感。」「好的，」愛因斯坦博士回答說，「但有一個條件，你也一定要給我一張你的籤名照片。」幾年以後，這位年輕人講述這個故事時，眼中不禁充滿淚水。「我當時只是一個無名小卒，我知道他並不是真的想要我的照片。但當愛因斯坦博士說那句話時，使我覺得無比地驕傲。」有一天，愛因斯坦花了兩個小時的時間耐心地傾聽一位不出名的物理學家向他說明某些新的驚人的理論。最後，愛因斯坦婉轉、禮貌但很肯定地告訴這位客人，研究這項永遠無法證明的理論，是白費時間。
這位訪客的妻子，在她丈夫說話期間，一直坐在一旁，本來渴望聽到這位大科學家誇獎自己的丈夫一番，現在不禁對愛因斯坦感到十分生氣。她質問說：「我知道我丈夫的理論是正確的，你怎能說這種話？」「夫人，」愛因斯坦說，「我之所以聽你的丈夫發表談話，主要是因為雖然他有幾項錯誤的觀念，但可以看得出，他對物理學還有幾分了解，因此他有權表述他的意見。但我相信我對物理學的認識和你差不多，所以我拒絕聽你的。」每天都有許多來信，愛因斯坦夫人只挑選其中的幾封送給她丈夫，因此愛因斯坦用不著被迫去看某些寫信者的荒謬意見。例如，有個人寫信來說，他相信，只要獲得愛因斯坦的協助，他必能減少購炭的價格；或是告訴一位想要當探險家的小男孩，如何加入非洲探險隊；對於相對論，許多人永遠有問不完的問題，像是「請你簡短地把相對論介紹一下，以使我可以向我的朋友們解釋一番」……但最多的是索取籤名。
愛因斯坦博士認為，至少他可以滿足這些令人厭煩的索取籤名的仰慕者。他公開宣布說，任何人只要在信裡附上他所規定數目的錢，他就會將親筆籤名寄過去。他把所收到的錢全部轉交給一個基金會，資助維也納的戰爭孤兒。雖然為這個基金會籌得的錢並不如他所希望的那麼多，但至少使他暫時擺脫了人們索取他親筆籤名的困擾。許多信件來自舉世聞名的物理學家。並不是所有來信的人都同意愛因斯坦的理論，有些人自稱為他們所謂的「常識物理學」辯護，他們坦白宣稱無法重視相對論。許多譴責愛因斯坦的人是根本不肯承認他的學說是正確的；其他的人則因為成就不及他，而對他所獲得的榮譽表現出妒忌及不滿。
愛因斯坦永遠不能了解，為什麼科學家竟然會有嫉妒之心!在學術界教授之間往往產生很大的敵對，但愛因斯坦從未有過競爭地位或榮耀的欲望。一位跟他相當熟識的人曾經說過，愛因斯坦最傑出的特點就是他擁有偉大的人格，而這和他在科學上的任何成就都沒有什麼關聯。他的人格自然而偉大，其中沒有一絲一毫嫉妒他人的成分。愛因斯坦對於那些無法接受新思想的科學家所發表的批評，並不覺得耐煩。他知道，創立新理論的人，多少都會遭到批評。他的新宇宙觀，對許多物理學家來說，是無法苟同的，需要很長的一段時間，他們才會接受。
學者及教會人士以前就曾譴責過哥白尼和伽利略。愛因斯坦認為，他本人也可以等待，直到被所有的人接受為止。有人告訴他，物理學家馬赫——愛因斯坦曾以他的學說為基礎，進行多項研究工作——曾激烈批評他最近的學說。愛因斯坦唯一的回答是：「那是因為他已經老了。」他對於那些對他進行非科學性攻擊的人，沒有太大的耐心。許多科學家憎恨愛因斯坦既是一個猶太人，又是一個和平主義者。