Вот знаете, есть девушки, которых отцы в детстве лупили, те у кого отец пил; есть те, у которых отец вечно лежал, прикованный к телевизору или те, кто отца никогда не видел/с кем отец не общался после ухода из семьи. И при этом у большинства с самооценкой всё ок.
Так что я думаю (хоть я и не специалист), дело не в вашем папе.