카페인에 대한 민감성은 신체 어디에 영향을 받나요?

저는 카페인에 둔감해서 많이 먹어도 부작용도 없고 잠도 잘 옵니다. 그런데 민감한 사람들은 오후부터는 절대 커피를 안먹던데 신체 어디에 영향을 받아서 민감성이 결정되나요?