Раздражает коллега мужчина

В нашем офисе работает мужчина около 40 лет, работает относительно недавно. Женат никогда не был, семьи и детей нет. С виду приличный, воспитанный, аккуратный, но держится очень обособленно (не ходит на дни рождения сотрудников и корпоративы), ссылается якобы на занятость и какие-то дела. У нас так не принято себя вести. Знаю точно, что многих он раздражает таким поведением, особенно женскую часть коллектива. Что с ним делать не знаем, бесит он многих. До него был подобный экземпляр, постарше, его просто выжили, в итоге он уволился по собственному желанию. Что с этим делать, как приобщить его к коллективу?