У него жена и маленький ребенок. Стоит ли начинать отношения ?

Прошу, помогите советом, только не читайте мораль. Все мы живые люди.У меня есть бывший коллега по работе, мы проработали вместе 4 года. Все это время общение было дружеским. Он женат уже лет 5, ребенку 2 года. С женой они вместе со времен института. Он не москвич, я москвичка. Внешне довольно неказист, даже иногда смотрится глуповато. Я в жизни бы не подумала, что подобный человек меня заинтересует, приезжий тем более. Но он настолько добрый и хороший по характеру, что я не замечаю эту его непрезентабельность. Зарабатывает нормально, видно, что старается для семьи, а не просто вцепился в жену (она тоже москвичка). Но ругались они постоянно. Он даже к одному из наших сотрудников ходил ночевать, когда были сильные скандалы.Пока работали вместе, мы общались по-дружески, хорошо относились друг к другу. Мы с ним на одной волне. Намеков и секса тем более не было. И вот он уволился, я через полгода тоже ушла из этой фирмы. После этого мы начали общаться в контакте. Сначала про увольнение, потом уже просто так. Я заметила в его фразах ко мне едва уловимые намеки. С женой он опять в ссоре сейчас. Я думаю, что рано или поздно мы с ним договоримся до того, что встретимся и переспим. С одной стороны я далеко не против такого расклада, т.к. мне уже давно интересно было бы с ним попробовать. Но я не хочу разборок с его женушкой и всей родней, а они будут. Да и потом они могут все равно сойтись из-за ребенка. Как думаете, стоит ли пресечь это все на корню или чем черт не шутит, вдруг все сложится ?