По вашему описанию у вашего бывшего начальника тяжёлый характер, пытался снизить вам самооценку, говорил, что у вас не получится работать управляющей, но вы справлялись, значит, характер не такой уж и мягкий. Вам тяжело было с ним работать, постоянная ревность, злость с его стороны. Ещё и мстительный, отказал вам в работе из-за того, что ушли, и авторитарный, сказал, что вы должны дома сидеть и воспитывать детей.
Если готовы терпеть его, то можно и снова с ним поговорить, тем более вы переписываетесь периодически, заодно и спросите про должность управляющей. Только, если вернётесь, лучше держать дистанцию с таким человеком, не заводить с ним роман.