Хотите с коллегой секса, займитесь сексом, если тем более,он сам предлагал раньше. Или вы уже замужем?

А сколько им лет? Странно это, неужели они настолько близки?
Тут надо разговаривать с мужем, рассказать о своих чувствах, что вам это неприятно. Что вы хотите с ним наедине время провести, а не "втроём".
Предложить им договориться об определенном дне или о времени, когда они могут созваниваться.