음식은 상온에 보관하면 무조건 안 좋은 건가요?

제가 평소 음식을 보관할 때 냉장고에 보관을 하는데 문제는 냉장고에 들어갔다 나오면 이상하게 맛이 없어요 혹시 상온에 보관하면 많이 안 좋을까요?