Проблема не в "маленьком", а в плохом сексе. Опыта у вас, как я понимаю, мало, у него его тоже вряд ли много.
Кончают не от длины члена, а от накала эмоций, страсти, правильных действий и слов. Есть пальцы, язык, если хочется именно размера - есть фаллоимитаторы, вибраторы и куча других интересных игрушек, которые могут на 90% компенсировать недостаток размера парня. Наверно, психологический момент, что вас имеет живой большой член, тоже имеет место быть, но и без этого можно сделать секс ярким, бурным и с кучей оргазмов.
Вопрос в умении разговаривать, желании доставить вам удовольствие и готовности меняться и работать над собой. Совместимость в сексе очень важна, без неё действительно не получится нормальных отношений. Не обсудив с ним этот вопрос, вы не узнаете, готов ли он принять эту проблему и как-то её решать.
Так что, если он вам дорог в плане отношений, то лишать его шанса из-за размера - не стоит. А из-за плохого секса - стоит) Хотя, если уже расстались, то было далеко не всё так идеально, и желание вернуться к нему может быть связано больше со страхом поиска новых отношений и одиночества, а не с тем, что он был таким уж хорошим.