Судя по описанию, Вы - личность целеустремлённая. Думаю, Вам точно никто не будет мешать. Не переживайте, все будет хорошо, не накручивайте себя лишний раз.
Тот, кто хочет учиться, найдёт способы это делать. А люди... они разные бывают, тут уж не угадаешь. Но в подавляющем большинстве случаев в университетах ребята абсолютно адекватно относятся к студентам постарше. А так как разница у вас не слишком большая будет, многие даже не догадаются, что Вы постарше.
Я вообще не знала о том, что со мной на курсе учатся ребята с такой большой разницей в возрасте, пока однажды не помогала в деканате и не увидела их даты рождения. Была очень удивлена, ведь внешне и не скажешь, что они на 4-5 лет постарше. Так что все будет хорошо. Удачи!