как реагировать на такой вопрос

У Вас с этим коллегой дружба? Любовь? Секс?
Ничего подобного нет, только рабочие отношения? Тогда отвечайте, что Вы в принципе не обращаете внимания на одежду коллег, если она не противоречит дресс-коду организации и приличиям.

Вам надо научитьсч делать людям комплименты. Вот например: " а ты в этой тряпице не такой стремный коняга как обычно", ищу бабуле подарок, не подскажешь где приобрел?

Никогда не заводите в коллективе близкие отношения. Сказали «да, хороший свитер.» и дальше работайте.

А разве вы обязаны как-то реагировать?

Ответили бы ему: "Ну не знаю. Я сегодня творог ела."

Скажи;Увидела сегодня тебя в свитере, теперь не усну, приходи вечером на сеновал, только обязательно в свитере. Свяжем мне тоже свитер. Заодно потрахаемся.

Это ведь шутка с его стороны? Скажите, что он свитеру идёт больше

Просто пошутил. Пофлиртовал, дело в то. Улыбнитесь и саажите "очень идет". Или круче, каа написала Anna. Это вас ни к чему не обяжет. Человек хочет наладить добрые отношения, да и все. Или он вам нравится?

Сказала, что цвет свитера очень идет к цвету его глаз

Ну а творог это кальций. Очень полезен для костной ткани.

Это зависит лишь от того, чего Автор вопроса хочет или не хочет от взаимоотношений с коллегой. Если он интересен Автору, как мужчина, было бы вполне уместным ответить: "Да, странно, что я не заметила. Прекрасный выбор свитера, у тебя очень хороший вкус". Если не заинтересованы, как женщина, можно просто ответить более сухо: " Да, Вам идёт эта вещь. Хорошего дня."