關於「港仔」這稱呼的問題 - 社會議題

為甚麼我見部份台灣的朋友對「港仔」這個稱呼會視為輕蔑香港人的名詞？因為「仔」字在廣東話中是頗為親暱的稱呼，例如我們會叫姓陳的老友為「陳仔」、劉德華稱做「華仔」、梁朝偉稱做「偉仔」之類。而「港仔」在廣東話的解釋就是「從香港來的小男孩」，是頗cutie的叫法，為甚麼台灣的朋友會這麼緊張？
已更新項目:
To: a大。
我意思都是和你一樣，我也覺得沒甚麼大不了，不知為甚麼他們會這麼大驚小怪。
To: Sunny哥哥
唔係掛？我都係香港人，我又唔覺咁叫法有輕蔑感覺喎，我問過幾過香港朋友幾個都話冇問題，會唔會係你太敏感呀？