선글라스를 햇빛에 너무 오래 두면 안되나요?

더운 여름이라 선글라스를 자주 애용하고 있습니다. 그런데 들어보니 햇빛에 선글라스를 오래 방치해두면 선글라스의 성능이 떨어진다고 하는데, 사실인가요?