Нет личной жизни. Живу с мужчиной, у которого есть бывшая жена и двое детей

Здравствуйте!
Я живу с мужчиной,у которого есть бывшая жена и двое детей,старшая -12 лет,младшему -6,но у младшего аутизм.
Когда мы познакомились,он сказал,что есть такая ситуация,есть больной ребенок и что он хочет его вытащить из "Зазеркалья",помочь максимально! Ездит с ним на различные реабилитации.Мать при этом сидит дома,со старшей и продолжает говорить,что он "никакой папа",хотя детей берём почти каждый день! Он и обувает их и одевает и балует давольно серьезно,алименты разумеется всегда вовремя +помощь на всякие мелочи,школу,развлечения.
Ситуация сложилась так,что на очередную реабилитацию поехал он,больной ребенок и я-мать даже не заикалась о поездке,каждый вечер она звонит по видео с ребенком увидеться...
И вот она заявила,что согласна,что ребенок всегда будет с отцом! Мол оформляй его на себя....
Ребенок сложный....один не спит(мамаша спит с ним до сих пор,ребенку 6 лет).
Своих детей у меня нету...я честно говоря не готова к такому повороту событий...мужчину люблю,но жить с ребёнком не хочу....я считаю,что раз у ребенка есть мать,он с матерью и должен оставаться,а не с тётей!
Мой сказал так,если так сложиться и она откажется,я мол буду подстраивать жизнь под ребенка...и что если я не могу его поддержать-значит нам не по пути..
Но мне кажется,он должен хоть немного считаться со мной,тем более изначально о том,что возможно,когда-то,все может так сложиться,что ребенок будет жить с нами,потому что "мать такая вот не мать", разговора не было!я готова помочь,поучаствовать в жизни ребенка-но не жить с ним...
Мне хочется проводить время с любимым мужчиной,засыпать вместе,с эти ребенком -это все очень сложно,он не спит один,он не ходит в садик...он особо не разговаривает...его надо лечить постоянно....личной жизни не будет....я не согласна в свои 37 лет и до конца своих дней тянуть этого ребенка....подскажите,как быть....я не знаю как поступить...мужчину люблю...но жить с этим ребёнком не хочу.... #отношения