카페인이 몸에 맞지 않는 사람은 카페인을 안먹어야 하나요?

커피, 녹차, 커피 우유 등 카페인이 조금이라도 들어간 음료를 마시면 잠을 자기 힘든 사람입니다. 이런 사람은 카페인이 몸에 맞지 않는건가요? 아니면 몸에서 카페인을 해독하는 작용이 안되는 건가요? 몇년전에는 바닐라라떼 대용량으로 먹은 후 심장박동수가 빨라지고 몸이 덜덜 떨려서 응급실까지 갔다왔었고, 그 이후로 커피는 쳐다보지도 않네요. 근데 녹차는 좋아해서 녹차라떼는 가끔 마시는데.. 저 같은 사람은 아예 카페인을 끊어야 하나요? 너무 궁금하네요..ㅠㅠ