Lo que en realidad duele.

 No te confundas. 

A veces no te duele 

haber perdido a la persona,

 te duele haber perdido la ilusión 

(que ya la tenías antes de conocerla).