Одиночество - это очень удобно, как для саморазвития. Вы находитесь наедине с самим собой, слушаете себя, чувствуете, занимаетесь тем, что Вам по душе: книги, музыка, рисование, танцы, документальные фильмы или художественные, кулинария..
Допустим я обожаю читать фэнтези с хорошо прописанным миром и с головой погружаюсь туда. Прям, ах!
Если найдёте себя, то скучно не будет. Правда, все-таки, есть такой тип людей, которые, ну, не могут быть одни и как бы не старались, для них это каторга.

Так сложилось, что в наше современное время родители могут дать только 20% воспитания, все остальное даёт общество. Нет, ну если ребёнка закрыть в четырёх стенах без доступа к сети и миру в общем, с запретом на всё и вся, то по Вашей логике, автор была бы отличной матерью..
А по поводу «можно» или «нельзя». Все забывают, что «запретный плод сладок» и когда идёт постоянное «нельзя» или куча ограничений, в конечном итоге, когда человек/ребёнок, так сказать, дорывается к этому табу - сносит крышу. Я не призываю разрешать всё на свете! Конечно нет! Просто нужна мера во всем и умение правильно подобрать слова.
А у дитя это возрастное. Переболит и успокоится. Но концентрировать своё внимание на то, что это ПРОБЛЕМА ПРЯМ не стоит.

По поводу мелкой ссоры, думаю, он просто нашёл повод дабы вернутся к былой, так сказать удобной, жизни, где все по расписанию: жена готовит, стирает, дом убирает, дети растут. А не создавать новую семью, ведь это сложнее.
С вами он просто поддался слабости или захотелось чего-то нового, но зачастую редко, когда с женатым мужчиной может что-то получится. Они будут вешать любую лапшу по типу «мы спим в разных кроватях..». Но по факту, когда мужчину окончательно все достаёт или что-то не устраивает - он не будет, так сказать «сожительствовать». Потому в этой ситуации, как бы Вы не старались он все равно будет возвращаться к жене. И тут два варианта, или оставить этого человека в прошлом, или смириться с статусом «любовница».