Ну вы готовы уйти от мужа, а он нет. Хотя у вас одинаковая ситуация. Значит, не только из-за детей он там. А может страхово ему. Вам может надо было поговорить, мол детей ваших заберете и будете вместе. Но у вас всего две встречи было, рановато о таком говорить.
В любом случае вам надо искать свободного. Ну можете написать конечно, мол встретимся, поговорить, чтоб он ушел от жены со временем, вы ничего не теряете же)