Муж жалеет, что женился на мне. Он уже не хочет от меня детей

С мужем знакома почти 7 лет, из них почти 2 года в браке. Мне 27, мужу 31.Живем в доме с его мамой и бабушкой и младшим братом, у которого эпилепсия. Отец мужа живет со второй женой и строит дом и в скором времени хочет отдать свою 3х комнатную квартиру нам с мужем и его брату, при этом оставив владельцем себя и свою жену, так как квартира напополам записана. Я мужу объясняю, что надо продать поделить эту квартиру, а он говорит, чем это мне его брат мешает, будем жить втроём, так как за братом нужен присмотр ( ему 23), сам жить он не сможет, квартиру разнесет. Любит выпить, гулять, не работает, одежду мама стирает его, ест за наш счет.Он уже и у папы жил и у мамы, и у бабушки другой, все его выгнали, а нам хотят спихнуть, и муж сказал что брата не бросит , будет с нами жить и я так понимаю, до конца наших дней.
И в общем, я поняла что муж не изменит свое мнение и я ему сказала, что если брат переедет, то я не перееду, сказала ему что мы ж детей планировали, а в таких условиях теперь как быть. А он ответил, что пока я не родила ему детей, брат ему дороже и он его не бросит, а будет присматривать за ним, и что жалеет,что женился на мне и уже не хочет от меня детей. Мне очень больно теперь. Думаю о разводе....После этого разговора больше не было, но я хочу поговорить как разговор зайдёт. Как вы бы поступили на моем месте?