Вы не обязаны тянуть брата, любовник всегда обходится дешевле мужа. По сути, у вас вопрос, стоит ли дальше терпеть рядом человека ради того, чтобы он помогал воспитывать детей - это очень расходно. У вас характеристика мужа "ну в целом жить можно" - ни любви, ни привязанности, из достоинств- выходные берет. При разводе ни денег, ни помощи вы от него не увидите. Где жить у вас есть. Ну потерпите тогда еще года три, пока дети не станут саомтсоятельными настолько, чтобы дойти до поликлиники и посопливить дома одни, но это вопросы вообще не про брак, а про сожительство и выгоду. По описанию, ваш муж вам невыгоден.