Порядочный мужчина - как быть?

Хочу, чтобы мне помогли разобраться в себе хотя бы.Была замужем, родила ребенка, с мужем развелась. Потом встретила своего любимого ,долго общались, несколько лет, прежде чем отношения переросли в близкие. Люблю я его очень, да и человек он замечательный, очень честный и порядочный, помогал мне и помогает во многих жизненных ситуациях. Через какое-то время я забеременела от него. Когда он об этом узнал - обрадовался и расстроился одновременно. Обрадовался потому что любит меня и очень хотел ребенка, а расстроился потому что не может на мне жениться по нескольким причинам. Во первых: он не хочет воспитывать чужого ребенка, от другого человека - моего первого мужа, во вторых: он из порядочной семьи и его родители не поймут, что он связался с женщиной у которой есть ребенок и которая была замужем. Но он меня не бросил, я решила рожать ребенка от любимого, тем более он сам хотел детей, да и очень негативно я к абортам отношусь. Всю беременность он поддерживал меня морально и материально, не жил со мной, но часто встречался, приезжал ко мне.. Когда родился наш ребенок, все расходы он взял на себя и до сих пор почти полностью нас содержит. Все так же ездит к нам и ночует периодически у нас. Но ... Правильно ли все это? Я очень переживаю, что он часто бывает грустным и угрюмым. Он все держит в себе и ничего не рассказывает, но я знаю, что творится у него в душе: он так хочет нормальную семью, которую не придется скрывать, но так как он порядочный - он не может завести себе одновременно со мной еще кого-то . Я чувствую себя виноватой в том, что ломаю человеку жизнь ,но не знаю как все исправить. Неоднократно я предлагала ему расстаться, чтобы он устраивал свою жизнь, но он не хочет. Да и ребенок к нему очень привязан, потому что он очень хороший и заботливый отец. Но жить вместе с нами он не может. Я просто не знаю как быть дальше. Мы с ним оба несчастны и не знаем как помочь друг-другу.