빅데이터는 어느정도 데이터 부터 빅데이터 인가요??
안녕하세요
요즘 트렌드를 보면
빅데이터, AI, 머신러닝 이런게 대세인거 같습니다.
관련 학과나 석사 과정도 많이 생기고 취업도 관련된 곳은 취업이 잘 되더라구요
그런데 빅데이터가 어느정도 큰 데이터부터 빅데이터라 하나요??
안녕하세요. 과학전문가입니다.
정확한 기준은 없습니다만.. 용량기준으로 수십테라바이트정도되는 대규모 데이터를 주로 그렇게 부르고 있습니다.
의미적으로 보자면 여러가지 기준이 있는데..
1. 사람이 일일이 다 보기 어렵고, 다 계산/정리하기 버거운 수준
--> 이게 사실 빅데이터라고 말하고 이를 다루는 기술에 대해 언급하기 시작한 최초의 목적입니다.
2. 통계적, 머신러닝에서 의미가 있는 최소 숫자
--> 통계적으로는 방식/이론에 따라 다르지만 보통 30개이상정도되면 통계로써 의미를 가진다고 볼 수 있어서 그정도 숫자를 보통 보고 있습니다. 머신러닝은 초반에 학습을 해야하기 때문에 학습에 필요한 최소 데이터 수 이상이 있고, 학습을 제외한 실제 데이터가 또 있어야하니 그 두종류의 데이터 숫자 합이 최소숫자겠지요?
데이터 사이언스에서는 그 이상의 데이터를 빅데이터라고 부르기도 합니다.
빅데이터는 대용량의 데이터를 의미하며, 정확한 기준은 없지만 일반적으로 기존 데이터베이스 관리 도구로 처리하기 어려운 규모의 데이터를 뜻한다. 데이터의 크기, 다양성, 속도, 정확성 등이 빅데이터의 특징이며, 이러한 데이터를 수집, 저장, 분석하여 의미 있는 정보를 도출하는 것이 목적이다. 따라서, 빅데이터의 기준은 상황에 따라 다르며, 데이터의 크기뿐 아니라 데이터의 종류, 수집 속도, 저장 방식 등을 고려하여 판단해야 한다.
