Для мамы он родной сын, а вы никто. Как бы вы хорошо вы не общались с его матерью, она всегда будет на его стороне. И, даже если это и так, то зачем вам нужны такие отношения, которые строятся на страхе осуждения со стороны матери? Насильно мил не будешь - это ваш случай. Не держите. Отпустите ситуацию - единственный выход. От вас ничего не зависит в данный момент, увы.