Люблю бывшего.

Описанное вами чувство к бывшему МЧ в большей степени похоже не на любовь, а на любовную созависимость.
В отличие от любви, в любой из форм ее проявления - на первом месте у человека стоят собственные чувства и интересы влюбленного человека, а при созависимой любви - чувства и эмоции другого человека. В данном случае ваш бывший МЧ не пишет о своих чувствах к вам, о том, что он интересуется - плохо вам или хорошо, как у вас с ребенком - все хорошо или нет.
Вашего бывшего МЧ интересует только секс. Вы считаете, что этого достаточно для отношений взрослых людей, состоящих в браке с другими людьми.
Вам нужно подумать - что будет, если ваш муж узнает об измене?
Бросит вас с ребенком?
Смирится с вашей изменой и будет изменять сам?
Останется с вами и будет каждый день вас укорять?
Как поступит ваш бывший МЧ, который не вступил с вами в серьезные отношения, влекущие за собой ответственность, если ваш муж вас бросит с маленьким ребенком на руках? Он женится на вас? Его будет также к вам тянуть, как прежде, если уже не надо будет прятаться и можно будет встречаться открыто, но уже в зоне ответственности?
Взвесьте все за и против.
Если не сможете самостоятельно определиться с выбором - то можете обратиться за помощью к психологу.