등산로가 아닌 곳을 등산해도 문제가 있을까요?

제가 최근에 등산로에 등산을 했는데 사람들이 너무 많아서 불편했는데요 그런데 혹시 등산로가 아닌 곳에서 등산을 하면 문제가 생길까요?