Они еле терпят мою болтовню, суетливость и рассеянность, злятся
Может чувствуют вашу слабость моральную, а может вы просто раздражаете людей своим эгоизмом и настойчивостью, настырностью.