Не умею общаться с людьми

Всю жизнь такая проблема, сколько себя помню. Вот допустим, ситуация на работе : хочу подружиться с новой коллегой, она мне симпатична как человек, по сравнению с остальными из моего отдела. Предложила вместе сходить на обед, она вежливо отказалась, сославшись на какую-то причину, а потом я узнала что она пошла на этот самый обед, в то же самое место, что я ее звала. Но только с другой женщиной из моего отдела... и это только один пример из тысячи, такое постоянно происходит. Дошло до того, что при знакомстве с человеком я стремлюсь свернуть побыстрее общение, т.к. заранее уже расстраиваюсь. Не могу найти причину, почему так происходит?? Я никогда не навязываюсь, культурно общаюсь. Муж говорит, что я загоняюсь по пустякам,но ему-то легко говорить, он умеет найти контакт с любым за 5 минут(((