Влюбилась в 33-летнего мужчину, у которого не было отношений

Уже очень давно влюблена в мужчину. Ему 33 года, я моложе его на несколько лет. Мы знакомы более трех лет, полтора года назад у нас все было замечательно, стало понятно, что мы не просто знакомые. Все шло к тому, что перейдем к настоящим отношениям. А потом он рассказал, что у него никогда не было серьезных отношений, намекнул, что были только какие-то случайные связи (я так поняла). После этих слов у меня сложилось ощущение, что он очень сильно испугался, и в итоге все общение сошло на нет.
Он очень много сейчас работает, любит это дело. Во время нашего общения я чувствовала, насколько сильно ему хотелось бы иметь полноценную семью. Как мне кажется, его пугает, что он не знает, что делать, как выстраивать общение на другом уровне, уровне пары. Но он не может или не хочет с этим разбираться, потому что все мысли заняты работой. Считает, что в итоге я от него такого странного просто уйду. Он много раз давал понять сказанными фразами, что самооценка у него очень занижена.
Говорил, что чувствует такое впервые в жизни, что я красивая и умная, а он совсем обычный, не знает, как по-настоящему вести себя с такими девушками, не разбирается в отношениях. Не понимает, почему я вообще на него посмотрела, но безумно рад, что все так получилось. После его откровений мы очень много виделись, он был очень инициативным, у него светились глаза, обнимал меня, брал за руку. Однажды почти поцеловались, а потом он резко изменился.
На какое-то время перестали совсем общаться, но где-то полгода назад он снова стал писать мне, мы возобновили наши разговоры. Сейчас у меня такое чувство, что второй раз он уже не решится начать что-то серьезное. Знаю, что хотел бы, иначе зачем ему писать мне снова. Я безумно его люблю. Зацепил меня своим умом, чувством юмора, отношением к жизни. Очень начитанный и разбирающийся во многих научных областях. По образованию - физик, но сейчас работает в другой, схожей области, но более прикладной.
Я тоже закончила физический факультет, собственно, мы с ним и познакомились изначально на почве общих интересов, уже потом поняли, что кроме этого имеем много общего во взглядах на жизнь. После расставания с моим бывшим мужчиной прошло 4 года, и этот человек стал единственным, кто вызывает у меня такие ощущения. Другие мужчины пытались сблизиться, но никто мне не интересен так, как он. За это время я научилась отличать симпатию от настоящих чувств.
Подскажите, пожалуйста, что мне делать? Боюсь сильно навязываться или сделать что-то не так, хотя очень хочется как-то выразить заботу и поддержку. Однажды я ему помогла в быту, и он это очень оценил. После этого мы еще больше сблизились. Мне хочется быть рядом, помогать ему, заботиться, иметь общие дела, куда-нибудь ходить вместе, завести с ним настоящую семью. Его материальное состояние меня волнует в последнюю очередь, хотя оно достаточно неплохое, и все его комплексы, думаю, тоже пройдут со временем.
Разве что ревность, скорее всего, останется. Была пара-тройка случаев, когда он достаточно злостно реагировал даже на простое дружеское общение с некоторыми знакомыми мужчинами. Возможно, он подумал, что для меня все это не так серьезно. Когда он говорил про желание иметь со мной детей, я посмеялась, не ожидала такое вдруг услышать и просто не восприняла в тот момент. Ну и в остальном я тоже не особо показывала свою заинтересованность, о чем теперь жалею. Прислушаюсь к любым советам.