Так поговори с начальником напрямую, проясни ситуацию, но без наездов.
То, что ты делаешь во вне рабочее время, работодателя е..ть не должно.
Если начальник адекватный, то в худшем случае сойдётесь на том, что тебе нельзя курить на территории склада (то есть возле проходной, где ждёшь автобус - тоже нельзя), и придётся терпеть до дома.
Ну а если он полезет в ..лупу, то такая работа тебе не нужна, начальник в принципе неадекватен.