Не хочу идти на новую папину квартиру

Здравствуйте, мне 17 лет. Родители развелись практически 7 лет назад. Папа оставил квартиру нам с мамой и сестрой. Некоторое время жил на съемной, потом переехал к женщине в ее квартиру. С недавнего времени, когда мы гуляем, он предлагает зайти у нему и попить чаю. В квартире в эти моменты никого не бывает. Я всегда жёстко отказываюсь. Я даже не знаю, почему отказываюсь. Просто не могу туда зайти и все, сестра просто повторяет за мной. Папа обижается, а я не могу ему уступить. Меня аж дрожь берет, когда понимаю, что туда зайду.