Помогите советом

Всем привет
Интересно Ваше мнение, у меня есть ребенок от первого брака, с человеком этим уже давно не живу.
Живу или точнее жила с другим человеком уже 1,5 года. У нас все бы хорошо, любим друг друга очень сильно.
Только он не совсем воспринимает моего ребенка, не так как я хочу, нет он его не бьет, не подумайте.
Просто я хочу, чтобы он больше уделял внимание ему.
Мы снимали квартиру, жили отдельно, чтобы поехать в отпуск мы на время переехали к его родителям, ребенка отправили к бабушке т.к. я каждое лето отправляю его к бабушке, чтобы он оздоровился.

Дальше хуже, мы с моим парнем слетали в отпуск в Египет, ребенок в это время жил у бабушки.
С парнем был уговор, что мы до августа поживем еще у его родителей, а потом опять будем снимать квартиру.
Я пришла, к маме, а та сказала, что больше не может быть с внуком , что ребенок должен быть всегда с матерью, она не может понять, что мой парень ни родной отец моему ребенку. И мы потратились. Ну нет сейчас денег на квартиру!
Я поговорила с парнем, тот, на своем, мол мы утанавили сроки, потратили деньги я не могу сразу все родить. Я предложила ему месяц повстречаться. Он говорит нет, мол, твоя мать, должна еще с ним посидеть месяц, т.к. обещала, а жена должна быть всегда с мужем. Я очень его люблю, он и правда делал для нас все, снимал квартиру, платил за мою учебу, покупал одежду, платил за ребенка.

Но я собрала вещи и ушла с дома его родителей, теперь жалею и локти кусаю, он терзается, ведь нужно было как то договариваться. Что я наделала? Как я смогу после ухода общаться с его родителями? Как вернуть все!?