Жизнь с нездоровым человеком

Добрый день. Живем с мужчиной уже пол года, познакомились мы с ним в очень нестандартной обстановке: я лежала в психиатрии отделе неврозов (у меня была затяжная депрессия). Когда мне стало легче, я стала гулять по коридорам клиники и познакомилась с очень импозантным мужчиной (как оказалось, у него шизофрения). У нас оказалось очень много общих интересов и взглядов на жизнь. После выписки из больницы, я практически сразу переехала к нему из своего съемного жилья. Жили мы хоть и не богато, но дружно, даже не смотря на большую разницу в возрасте (мне 25 а ему 62).
Раньше меня не смущал его диагноз, но пожив с ним какое то время, я стала замечать странности: временами он может себя вести агрессивно и странно: пнул соседку за очередное замечание, по ночам может выйти на балкон и играть на балалайке (он любит музыку), и все в таком духе. Но я действительно очень полюбила его, потому что в целом он очень интересный и умный человек. Но и перед людьми мне бывает стыдно, что в меня тыкают пальцем и смеются надо мной и нашими отношениями. Расставаться с ним я не хочу, но его странности...смущают. Как выйти из этой ситуации? #отношения