Женщины не любят меня в коллективе

Такая ситуация работаю в своей организации уже 3 года, перевелась в другой отдел по собственнму желанию, т.к.хотела изучать новую именно то, чем там занимаются. Из-за нехватки мест начальник посадил меня к себе (не было мест в общей группе, а он сидит отдельно), когда места освободились он попросил меня остаться с ним. Я слежу за собой, всегда ухожена и скромно одеваюсь, с начальником теплые отношения, доверительные, но ничего близкого нет. В коллективе около 15 человек, мужская часть ко мне относится нормально (но их всего 4) остальные просто загрызть готовы. Сначала старалась быть ближе к коллективу, но когда видно негативное отношение это очень сложно, начала просто избегать и стараться не попадаться на глаза. Пустили слух что я сплю с начальником (хотя это далеко не так), а мне ещё как минимум работать с этими людьми, что делать - не знаю. Очень тяжело ходить на работу в такой коллектив, я ведь ничего никому плохого не делаю, наоборот когда начальник на кого-то зал, я стараюсь смягчить ситуацию и никогда не иде против кого-либо.