Уйти нельзя остаться

Ситуация такая,на протяжении полу года общалась с парнем по телефону,на нг он приехал ко мне в город,весной я к нему(мы из разных городов).Он разведен давно,была сильная любовь к другой женщине,но она отказалась выйти за него замуж 2 года назад.Вообщем он пригласил переехать к нему жить.Я подумала и согласилась,поскольку в родном городе кроме родных меня ничего не держало,да и мужчина показался хорошим,надежным,любви не было,но для меня это не важно.Вообщем я переехала к нему,вчера он сказал,что думал полюбит меня,но не получается,думаю он все еще любит ту женщину.Вот сижу и думаю,уехать стыдно(2 месяца только прошло),все эти вопросы,косые взгляды-тяжело будет.Но и оставаться если тебя не любят,не вижу смысла.Он говорит давай жить как и жили,а у меня кошки скребут на душе,не знаю как поступить.