Хочу уйти от мужчины

У меня ребенок от первого брака, который полгода живёт у меня и полгода у папы (живём рядом), без алиментов, мы оба работаем, я достаточно хорошо получаю, есть где жить, машина, на учебу ребенку и ТД. Встретила парня, когда его бывшая была беременна, но она от него ушла к другому, сказала что ребенок не его. Потом оказалось его и он начал с ребенком встречаться и поддерживать финансово, платит алименты, берет на выходные. Сначала мне было не важно, что там у него за ситуация, потом когда полюбила ревновала, но он успокаивал, что все будет хорошо у нас. Сейчас мы живём вместе и он в силу обстоятельств (та мать вышла замуж и ребенка отправила к бабушке) хочет забрать этого ребенка к нам. Не могу найти в себе силы принять этого ребенка, он ещё очень маленький, ему нужно много заботы, любви. Я не представляю себя мачехой. Начались ссоры, моя ревность, что ребенок не от меня и ТД. В итоге я думаю уйти, он отговаривает, стыдит что бросаю в тяжёлую минуту, и ребенка он моего принял как своего тоже, а я не могу. Уйти очень тяжело, он все время плачет и возвращает меня, говорит я пожалею потом и что через пару лет все наладится и будет у нас семья полноценная. Но я чувствую что не продержаться так, хоть и люблю. Не знаю что делать