자격증/빅데이터분석기사
-
2과목 요약 - (1) 데이터 전처리 - 데이터 정제자격증/빅데이터분석기사 2024. 3. 19. 08:03
- 데이터 전처리 : 실제 분석과정의 70~80% 정도 소요 - 데이터 정제 : 이상값(반드시 처리할 필요는 없다!), 결측값(반드시 처리 해야함) 처리 이상값에 민감한, 민감하지 않은 분석기법 분류해서 공부 - 다중공선성 : 독립변수들 간에 강한 상관관계가 나타나는 문제 결측값 처리 방법 - 단순 대치법 1. 완전 분석법 : 불완전 자료 모두 무시 2. 평균 대치법 : 결측값 발생이 다른 변수와 관계가 있는 경우 유용함 3. 단순 확률 대치법 : 평균 대치법에 적절한 확률 값을 부여하여 대치하는 방법 평균 대치법에서 추정한 표준오차의 과소추정문제를 보완하고자 고안 Hot-Deck : 현재 진행중인 연구에서 비슷한 성향을 가진 응답자의 자료로 대체 Cold-Deck : 외부 출처 또는 이전의 비슷한 연구..