конечно нужно переживать. Нужно страдать... обязательно 5 лет отстрадать. У вас своей головы нет что ли? Хотя, судя потому, что вы выбрали такого, все это терпели, вы из тех, кого называют жертвами, а они не имеют своего мнения. Поэтому вы здесь, пришли за советом, как вам быть.
Открою большой секрет: всем плевать на других, в тч. и на вас. Это больная, но правда. Поэтому в ваших интересах научиться жить так, как вам хочется. Не можете, тогда к психологу. Раз уж вам не дал в свое время такого совета, даю его вам я. Иначе следующие отношения будут не лучше этих.