Люблю человека, но он плохо влияет на мое здоровье

Дружу с мужчиной, люблю его как человека и как мужчина тоже нравится. Но к сожалению после нашего общения у меня часто болит голова, спина и вообще все нервы. Он слишком сильно на меня влияет, либо сильная радость, либо сильная боль (прямо боль в теле ощущая). Боюсь, что если ещё сблизимся, то у меня начнутся панические атаки или случится инфаркт. Что делать? Как убрать его негативное влияние на здоровье, но оставить отношения?