Как вы это терпите? Из вашего рассказа понятно, что муж ваш вас ни в грош не ставит, не любит вас и ребёнка, и семья ему не нужна.
Как вариант -уйти в неконтакт и с ним не общаться, если поймет, что вы ему дрроги, то придет и вы помиритесь. Если не одумается, то вы хоть сохраните свои нервы и остатки достоинства.
Что с вашей самооценкой? Если он и его мать думают, что "он имеет право...", за кого они вас держат? Где вы живете, там больше мужиков нет?
Еще раз советую- обидется на него (давно пора), уйти, прекратить общение, заняться собой и своей жизнью, поднять свою самооценку