Обращение ma'am в англоязычной среде

Это грубо так обращаться к женщине? Человек продолжает так меня называть, хотя знает мое имя. И вместо просто да, конечно, он говорит, да, ma'am или конечно, ma'am. Зачем?