Как решиться уйти от нелюбимого мужа к другому?

Добрый день. Нужен совет.В браке три года, мужа не люблю и никогда не любила. Выходила замуж и честно ему это сказала, он был не против. У меня ребенок от первого брака подросток, у мужа нет никого и ничего, живет в моей квартире в центре Москвы. При заключении брака все обговорили, что любви к нему у меня нет, детей больше не хочу, в квартире не пропишу, на все был согласен. Сейчас начались претензии: не любишь, детей не рожаешь и тд. В брак с ним вступала из-за того, что он нашел общий язык с моими родителями и сыном, это бывает редко. Они меня и уговорили выйти за него. Кому ни скажу всю правду все дивятся и говорят: зачем тебе это надо, срочно разводись, ему выгодно жить с тобой, а тебе-то это зачем? А сейчас складываются очень теплые отношения с коллегой по работе, рассказала ему о своем браке, можно сказать любовь, он считает,что нужно срочно разводиться и переезжать к нему, начинать жить вместе и строить нормальную семью (сам он разведен и двое детей). Но разводиться значит полностью поменять свою жизнь и сможем ли мы построить гармоничные отношения с детьми друг-друга? Ждать он не хочет и решать нужно срочно, брать вещи и переезжать попутно подавая на развод. Понимаю, что если откажусь, то буду жалеть всю жизнь. Как быть?