Женатый пригласил к себе

Добрый день всем! Может ли это быть показателем серьёзных намерений, раз не боится распространения информации от соседей?
Хочу посоветоваться насчёт отношений с женатым мужчиной. На днях он пригласил к себе домой с ночёвкой в отсутствии жены, потому никак по другому не получается - маленького сына оставили дома с ним. Стоит ли идти на поводу и соглашаться? Сам якобы понимает, что с моральной стороны не красиво и мне тяжело там в принципе находиться, но из-за того, что видимся с ним редко (он у себя в городе по работе задерживается, а мне снял квартиру в городе, где я работаю - на выходные приезжаю к своим родителям и заодно вижусь с ним), ему приходится идти на такие меры. Говорит, что ему всё равно. И хочет, чтобы жена узнала, но не резко всё. А ещё отговорка - мол, какая разница, где мы, главное, что вместе. Как-то так, в общем. Что мне делать, не знаю? Не поменяет ли ко мне отношение после проведённых ночей у себя дома? А то так и останусь в статусе любовницы, чего не хотелось бы.