Не знаю станете ли вы мягче, но надо учиться себя контролировать. Начиная хотя бы с тех ситуаций, когда вы осознаете, что чувствуете агрессию или собираетесь заткнуть ему рот. Заставляйте себя прикусить язык. Потом это в привычку начнет входить, и вы начнете думать прежче, чем что-то сделать.
Я вот уверена, что на работе с начальником вы, наверное, себя контролируете (или будете контролировать) даже, если он(а) вас бесит. Значит это возможно.