Не родной ребенок

у меня возникла проблема.я воспитываю сына одна,при этом я живу с родителями,с его отцом я зареклась больше никогда не видеться и сын о нем не узнает,если сам не захочет когда выростит.пол года назад я познакомилась с мужчиной,с первого дня знакомства начали встречаться,да и на первое свидание я пошла со своим ребенком,он на этом сам настоял,мол любит детей.Моему парню 25 мне 20,ребенку 4 года.Сыночек у меня не подарочек,меня слушает оченьочень редко,и то когда мы один на один остаемся,у моих родителей есть такая "мода" влазить в мое воспитание ребенка каждый раз,даже если мама моя в другой комнате,я поругаю малыша,и она еще каждый раз вставляет свои 5 копеек,я сней уже говорила на эту тему что так нельзя,да и еще она любит мне делать всякие замечания при ребенке,соответственно ребенок меня перестает считать авторитетом.Ну так вот у нас с мч все прекрасно,но каждый раз когда мы идем гулять с ребенком,начинается скандалы,на людях я стараюсь редко ругать а тем более давать по попе,в основном словами,но он меня не слушает,парень мой меня начинает каждый раз упрекать в том что я не воспитываю ребенка,я ему говорю если у нас все серьезно,то помоги мне его воспитывать,тем более его он больше слушается,он говорит я не могу,поотому что ты начнешь возмущаться,а я то как раз и не буду,а буду только рада,и ему об этом говорю,я обьясняю почему ребенок меня не слушает,что у меня дома каждый день дурдом,когда ребенок был маленький он до 3-х лет сидел с няней,потому что я училась,уходила в 8 утра и приходила в 5 вечера.а он этого не хочет понимать и говорит что я не умею его воспитывать я им не знаимаюсь и т.д.и я не знаю что мне делать ,как поступать,да и еще мы видемся раза 2 в месяц иногда 3,из-за его работы,

посоветуйте что нибудь