В этом можно разбираться глубоко и долго.
Например что Вы при этом чувствуете и где Вы встречали это раньше в детстве?

Ну а кратко. Вы удовлетворены этими отношениями в полной мере? Если нет, то , обращаю внимание - Вы отдали ему 4 года, а он, похоже не очень это ценит.
И к чему , с такой динамикой, это прийдет в дальнейшем?