ребенок от первого брака

Как быть....
Познакомилась с мужчиной который был женат и у него есть ребенок...сын 5 лет, начали жить вместе (ребенок живет вместе с бывшей женой), НО на выходные он его забирает к нам с утра в субботу и до вечера воскресенья.
У меня самой детей нет-поэтому 5 летний ребенок просто выносит мне мозг. С одной стороны малыш меня любит, да и я тоже к нему хорошо отношусь, но не могу вынести постоянной беготни в свои законные выходные, не хочу ездить с ним по детским мультикам, детским игровым центрам-мне хочется выспаться ( а как это сделать когда в соседней комнате с 8 утра уже прыгает на кровати ребенок и играет в войнушки).
А еще иногда ребенка он берет в будние дни тоже или на ночь или просто на вечер...
Как ему сказать об этом не знаю, как не обидеть и саомй не свихнуться.
Что делать не знаю. Недовольство уже через край, тем более ребенок не мой и не слишком воспитаный и капризный...только прошу не советуйте заняться его воспитанием(-у него есть мать для этого).
Кто был в подобной ситуации и как справились подскажите, а то всякий раз когда он уезжает за сыном у меня настроение хуже некуда и прикрываясь делами стараюсь уехать до вечера...