Были похожие проблемы, понимаю вас. Мне помогло разобраться в теме набора/снижения массы, сколько тело тратит в покое и начать считать калории.
Ещё забить на мнение окружающих, тело всё-таки ваше, вам в нем жить. Вам его худеть или толстеть. Забейте на мнение парня, он может вообще не подумал когда такое говорил, а вы так загнались