Хорошо, что только планы.
Вам самой, конечно, решать, что делать со своей жизнью и какого отца выбирать для своих детей. Однако по всему, что вы написали, мужчина он не самый порядочный. Так бывает. Всегда надо смотреть на поступки, а не на слова. Попробуйте посмотреть на его фактические действия с самого начала ваших отношений как бы со стороны, если б это был мужчина вашей сестры, дочери... Вы б это одобрили? Порекомендовали бы ей такого человека в качестве отца её детей?