Стоит ли общаться с человеком, если в душе тревожность?

Нет, не стоит. Верьте своим чувствам

Буду, может, "нехорошей тётей", но всё же скажу: если тревога сопровождает всё общение и вы уже не в самом начале отношений, значит, что-то не так. Тело не врёт. Все эти микросигналы оно считывает раньше, чем разум успевает придумать оправдания...

Не стоит. Интуиции стоит верить. Уходите по тихому.

Нет, не стоит. Интуиция всегда оказывается права.

Нет, не стОит. Зачем нужно общение, если оно, в результате, вызывает тревогу, негатив? Что вас пугает, почему вам страшно это общение прекратить? Страшно, по-моему, "своими руками", по своей воле, затолкать себя и удерживать себя, в психотравмирующей ситуации!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Вот что страшно!

Чтобы дать дельный совет этого мало,по какой причине хотите разорвать связь,если он проявляет знаки симпатии,дело в вас как я понимаю,что мешает ответить взаимностью?

не общайся

Раз у вас так странно всё, то извинитесь и не общайтесь. Человек на вас время тратит и себя.