남성과 여성의 목소리가 다른 이유는 기본적인 인체 구조의 차이 때문이다. 성인 남성은 성인 여성보다 크고 더 두꺼운 성대를 가지고 있으며, 이는 고음에서 더욱 뚜렷하게 나타난다. 또한, 남성은 여성보다 더 긴 성문을 가지고 있어 낮은 음조를 내기가 더 수월하다. 이러한 인체 구조적 차이로 인해 목소리 높낮이와 성조가 다르게 나타나는 것이다.
갓난아이들은 남아 여아를 가리지 않고 성대 구조가 비슷한 까닭이다. 단적인 예로, 말하거나 울 때 진동이 발생하는 성대 주름 막 부분의 길이가 남아 여아 모두 태어났을 때는 똑같이 2mm에 불과하다. 하지만 성대 주름 막 부분이 커지는 속도는 남녀 차이가 확연하다. 남아는 1년에 약 0.7mm씩, 여아는 0.4mm씩 자란다. 두어 살만 먹어도 목소리만으로 남아 여아를 대충 구분할 수 있는 이유이다.