А вы кого-то кроме себя видите? Муж психанёт так и свалит или будет несчастен, лишний повод для него переживать. Это он должен мучиться и сдерживать себя? То есть вас удовлетворил, а сам что? Не будьте эгоисткой.
Уважайте друг друга, говорите с ним, договаривайтесь и в конце концов ищите компромиссы.