Следует ли начинать жить с мужчиной с багажом из прошлого

Я довольно самостоятельная женщина, квартира 4х комнатна,машина, не дурна собой))), но вот как то личная жизнь не складывалась, в разводе уже 6 лет. И вот познакомилась с мужчинкой (44 года) на сайте знакомств. Вроде бы как положительный со всех сторон: уступчивый, не скупой, добрый,ласковый, симпотичный. Говорит что влюбился с первого взгляда, смс с пожеланиями утром-вечером, цветы, подарки. У меня дочь 10 лет, он к ней как к своей. Он в разводе 4 года, двое деток. дочери 17, сыну 7. Живет с мамой, все оставил жене. Но не это меня беспокоит, а жена которая выжимает с него большую часть его зарплаты (алименты он не платит), дочка разговаривает по хамски жуть, до и жена тоже, без конца требуют его присутствия по тем или иным вопросам, я не скажу что он тюфяк, но слово боиться сказать поперек. В браке они прожили 14 лет. За месяц знакомства поняла, что багаж из прошлого у него очень не простой. Хотим начать жить вместе, да мы и так практически живем, но меня это все очень пугает, да и сомнения берут относительно его чувств. Незнаю что и делать, он мои сомнения видит и очень раздражается по этому поводу.