Меня оскорбляет коллега

Недавно устроилась на работу, вроде со всеми смогла наладить контакт, кроме одного индивида. Коллега систематически меня оскорбляет, бросает фразы из разряда "да пошла ты", но как будто в шуточной форме. При этом этот коллега пытается со мной шутить, общается, но потом как будто резко переключается и начинает либо говорить какую-то грязь. Я не знаю как объяснить его поведение, возможно он просто неадекватный, потому что такой юмор он практикует в принципе со всеми. При этом я ему уже говорила, что мне не нравится подобное общение, однако это он проигнорировал сославшись на то что я обиженка. Как быть с этим коллегой?