Раз не понимает, надо действовать. Сообщаете ему, что в 10 вечера уже готовитесь ко сну. Придет - дверь не откроете. Оповещаете где и в какое время Вам самой удобны встречи с ним. Организует всё- придёте. Нет - досвидания.
Почему Вы терпите, что мужчина ставит Вам свои условия и ведет, как ему удобно и как хочется? Не считаясь с Вашими удобствами? А Вы, хоть и недовольны, уступаете, потакаете, угождаете? С Вами и будут обращаться с тряпкой, на чьё мнение плевать, а желания Ваши ничего не стоят.