Не могу привыкнуть, что в моей квартире мужчина

Здравствуйте.
"он предложил съехаться" - в смысле Вы не съехались где-то в новой квартире, а он поселился у Вас, в Вашей квартире, где Вы уже давно привыкли быть сама себе хозяйкой? Поэтому он Вам мешает.
Если бы, действительно, "съехались", то Ваши ощущения были бы скорее всего другими, т.к. у Вас осталось бы Ваше личное пространство (Ваша квартира), в которую Вы в любой момент можете вернуться. Даже, если бы Вы её сдавали, всё равно ощущения другие, нежели, когда он на Вашей территории как на своей.

Но и даже, если Вы съедетесь на нейтральной территории (не его квартира, не Ваша, а другая - ничья), всё равно Вам придется привыкать к тому, что в доме Вы не одна и это не два дня и не на время отпуска, а постоянно. Потому, что привычка. Вы привыкли жить одна.

"Как с этим бороться?"
Бороться точно не надо, т.к. любая борьба только усугубляет ситуацию - вызывает ответное сопротивление.
Попробуйте переехать к нему или на нейтральную квартиру. И на первое время договоритесь, что у Вас есть возможность иногда оставаться у себя дома. Т.е. чтобы Вы чувствовали больше свободы, чем сейчас. Постепенно скорее всего привыкнете без насилия над собой.