Сама себе проблему нашла

Познакомилась с парнем. Он меня чем-то зацепил. Развилось всё ну очень быстро. Вот на одной встрече обнялись, потом поцеловались, а в один вечер вовсе переспали. Для меня это был первый опыт. Было решено, что мы теперь в отношениях, и вроде всё славно, но некое чувство сомнения поселилось во мне.
Из-за того, что всё так быстро, я будто не уверена в его интересе. Недостаточно знаю его, как человека. Сама не верю, что это продлится долго. Хотя я в его планах на будущее есть, но правда ли это?
Ради секса всё - звучит в моей голове хор осуждающих бабушек. Но не скажу, что моего интереса в этом деле нет. Он бывает шутит, что я свое получаю и домой еду, а он себя использованным чувствует.
Стоит упомянуть, что мы с одного вуза в довольно маленьком русском городке. Факультеты то разные, но знакомые общие мелькают. И вот боюсь, что если брошу его в один день, поползут неприятные подробности.
Как быть? И как об этих страхах с ним поговорить?