Нет, не нормально.
Первый раз вы дали ему понять, что это неприемлемо для вас. Если повторяется то же самое, значит он ваши слова и чувства ни во что не ставит.
Конечно, с рождением ребенка у вас многое поменялось в жизни, но возможно, вы совсем перестали обращать внимание на мужа и поэтому он завязывает общение на стороне?