Пускать все на самотек в жизни нельзя, особенно с бывшими.
Если он позволяет себе поползновения в сторону другой женщины (вас), будучи женатым, бегите от него, он потом к другой бывшей будет клинья бить. К тому же, если он так относится к жене, с матами и явным неуважением, и вы снова с ним ввяжетесь в отношения, то к вам он будет относиться потом точно так же. Такие мужчины не уважают женщин, не льстите себе и не думайте, мол, со мной такого не будет. Будет, еще как, не завтра, так через год.
Возвращаться - плохая примета. А его нынешней жене можно лишь посочувствовать.