哈利這種自幼喪父喪母且日常生活是被姨夫使喚，姨母敲打，表兄毆打的孤兒，內心是十分敏感的，可以迅速且準確的判斷一個人對自己示好是否是善意的，從海格破門而入拿著生日蛋糕，短短幾分鐘，哈利就從滿身戒備到相信這個長相醜陋的大巨人以及面對吉德羅洛哈特種種誇張行為的厭煩，都可以看出，哈利面對對自己充滿善意的人的時候和對自己有別的企圖的人的時候的態度是截然相反的。
馬爾福和哈利的第一次見面，是在買衣服的時候，馬爾福和他媽媽頤氣指使的態度使哈利感到不適，但是哈利還是和馬爾福進行正常的交流，直到馬爾福對海格出言不遜，哈利才拉下臉表示不開心，在衣服店，第一次見面哈利對馬爾福的印象就是不好的。
第二次見面，是在列車的包廂裡，這時候的馬爾福帶著自己的兩個跟班，來哈利的包廂挑釁，這時候馬爾福的情緒就是簡單的嫉妒，因為整個車廂都在議論大名鼎鼎的哈利波特，後來因為小矮星彼得的幹擾，沒有造成很大的影響，如果說第一次僅僅是印象不好，這一次就是厭煩了，哈利討厭這個自以為是的二世祖，巴不得不要和他有任何牽扯。
第三次，就是題主說的馬爾福伸手示好，這裡面有一個小插曲，就是馬爾福在自我介紹的時候小羅恩對這種自大的行為進行嘲笑，馬爾福馬上反唇相譏，諷刺韋斯萊家是窮鬼，因為韋斯萊夫人的熱心指路以及在列車上和羅恩建立的革命友誼，這時候的哈利把這個紅頭髮的雀斑男孩當成了朋友，繼承詹姆優良傳統的哈利馬上為朋友出頭的拒絕了馬爾福不帶好意的握手，其實就算沒有這個插曲，哈利和馬爾福的這個手依舊是握不上的 ，前兩次見面馬爾福所表現的行為儼然一個達力究極體，哈利又不是受虐狂，怎麼會和馬爾福握手言和？
你是什麼貨色我就是什麼臉色，哈利在面對迪安，西莫以及納威的時候，由於對方的善意，哈利也是以誠相待的，但是馬爾福這個伸手的動作可是惡意滿滿，對這個既不是古老的魔法家族又沒有家養小精靈還沒有爸媽的窮小子卻因為一道疤搶了自己的風頭的男孩，馬爾福是充滿嫉妒的，伸手表面是示好，其實是想把哈利拉進自己的團隊，以此證明自己的了不起，哈利拒絕了，這個梁子也就結下了，但這僅僅是小孩子對於得不到的東西的怨恨，雙方的惡化是在哈利表現了超高的魁地奇天分以及那把光輪2000的到來，馬爾福意識到，哈利波特並不是除了疤一無是處，這時候的嫉妒就加了一點惡毒的成分，而哈利因為馬爾福發現海格的龍蛋以及去向麥格教授舉報而對這個小人厭煩至極，雙方再一次交惡。
在魔法石的大結局，鄧布利多的170分直接導致學院杯易手，馬爾福現在對哈利波特就不是簡單的嫉妒，簡直就是那種順我者昌逆我者亡的心態。再加上密室的時候哈利解放多比以及舉報盧修斯是食死徒，哈利和馬爾福之間相互仇恨勢不兩立局面達到白熱化程度！