설탕 대체제 감미료는 부작용은 없는건가요?

설탕 대신에 다이어트쉐이크나 곤약젤리에 스테비아나 에리스리톨과 같은 설탕 대체제가 들어가는 경우가 많던데, 칼로리는 없고 부작용도 없는 게 맞나요?