Как перестать потворствовать его изменам?

Нужен адекватный взгляд со стороны. Год у меня были сексуальные отношения с парнем. Я была свободна, у него может кто то и был, но я об этом не знала. Официально он ни с кем не встречался. Приезжал ко мне, мы занимались сексом, он уезжал. Секс, надо сказать, был фееричный. Через год у него появилась девушка и он пропал. Узнала от общих знакомых. Я не искала, не звонила, не ждала, жила своей жизнью. Мы не виделись. Недавно встретились в кафе, один взгляд и все. Поехал за мной, зашел в квартиру, пропал на сутки.
Звонила его девушка, трубку он не брал. Я могу принять это как разовый акт. Но потом он пришел снова и снова и снова.
Помогите разобраться. С одной стороны я свободная девушка, никого не обманываю, просто получаю сиюминутное удовольствие. С другой стороны мне жалко его подругу, с которой он вместе живет. Получается она как в дураках. Все знают, она ни сном, ни духом. Меня после наших встреч мучает совесть.
Как мне правильно поступать? Не париться или запретить ему эти визиты?