Попробуйте может ему больше времени уделять, успокаивать его как то, говорить что он у вас самый любимый и единственный.
А то что скандалить, только еще больше нервы вытрепите и усилите чувство тревожности и обиды.
Просто честно говорите хорошее, что чувствуете.