Вышла замуж за мужчину с детьми

Всем здравствуйте, мне 25 лет, пару лет назад я познакомилась с мужчиной, у которого есть сын. Он не скрывал наличие ребенка, а с бывшей женой он на тот момент уже был в разводе. Они поддерживали контакт после развода, но после знакомства со мной их общение сошло на нет, а потом и вовсе обрело негативный оборот. С его ребенком я виделась пару раз и приняла его, с бывшей женой не пересекалась, у нас с ней заочно возникла неприязнь- видимо потому что она тогда еще надеялась вернуть его в семью. Мы поженились достаточно быстро, стали жить вместе и спустя небольшой промежуток времени я узнаю новость о том, что его бывшая ждет от него второго ребенка, которого они зачали уже будучи разведенными до нашего с ним знакомства- это повергло меня в ужас-я не могла поверить и принять, что ребенок от него! Я думала о разводе, но я уже полюбила этого человека- в семье у нас все хорошо. Но факт того, что уже у него двое детей, отчисления алиментов и времяпровождения с детьми по выходным- не дает мне покоя. У нас общих детей пока нет-но есть в планах- и я понимаю, что его дети навсегда- и бывшая женушка всегда будет лезть в нашу жизнь из за их общих детей. Я не знаю как поступить и стоит ли держаться за этот брак?