Женатый любовник ведет странные разговоры

Начиная, как я думала, секс без обязательств (мы оба женаты), я была уверена, что большего ничего и быть не может, да и изначально мы это проговаривали и да, мне не хватает секса с мужем (разговаривали, ничего не меняется) Встречались раз в неделю, когда раз в две недели. Между встречами созванивались не часто, узнать, как дела и на когда можно планировать встречу. Он утверждал, что любит жену (второй раз женат), а я 100% не уйду от мужа. И вот уже несколько встреч он начинает разговор, что ему меня не хватает, что все мысли обо мне, что нужно видеться чаще.. Да и вижу, что во время секса поведение поменялось.. Пытался писать, но я запретила! И самое страшное, он спросил меня, а что будет, когда если муж узнает, вы расстанетесь? Он говорит, что если его жена узнает, то он просить прощения даже не будет, типа готов уйти....
Я очень не хочу прекращать эти отношения, так как мне удобно, я уверена в человеке в плане здоровья, но вот это всё, начало напрягать.
Как думаете, стоит срочно заканчивать отношения и надеяться, что он будет молчать? Или как-то сделать так, чтобы сам ушел?