Приезжаете к нему или переезжаете? По-моему, это две разных ситуации: если приезжаете-то вообще приезжаете к нему в другое место и раньше очно Вы не виделись; а если переезжаете, то тут всё понятно)
По сути вопроса: понятно, что, конечно, не очень кажется благополучным такое при начале ваших романтических отношений; но также нужно учитывать тот факт, какая Венера у вас двоих в натальной карте, она там может быть ретроградной тоже. И у вас, или у кого-то у одного из вас может складываться всё в жизни в любви наоборот благополучно именно при ретроградной Венере.