Женатый мужчина не отпускает

Начала встречаться с мужчиной около полугода назад. Он мне сразу безумно понравился: нежный, заботливый, красивый. Спустя пару месяцев признался, что женат, есть двое детей, жена прилично старше его, ну и старше меня на много. Я сразу решила прекратить общение. Меня коробит, что он врёт и ей, и мне. Но как только отталкиваю его, начинается "атака" с его стороны: вниманием, заботой, нежностью. Я никогда до этого не испытывала по отношению к себе такого: родители относились холодно, первый муж был холоден. Поэтому меня тянет к тем, кто проявляет нежность. И не могу ничего с собой поделать. Тянет к нему и всё. Отказываюсь встречаться, он приезжает, стоит под окнами. Как запретный плод. Каждый раз после встречи, подарков, цветов чувствую себя последней сволочью, как будто ворую его у детей и жены. Знаю, что это так и есть. Как отвадить его? Знаю, что сама буду плакать и переживать разрыв, но от семьи отрывать его не хочу.