Один раз сказать, что тебе неприятно это. Не додумывай за него, прямым текстом спроси для чего их общение и выскажи свою точку зрения.
Если дорожит тобой, значит предпримет меры, а если будет продолжаться их общение, то это не твой человек.