분류번호 :	2001010508_17v2
능력단위 명칭 :	텍스트 데이터 분석
능력단위 정의 :	텍스트 데이터 분석이란 다양한 형태의 텍스트 데이터로부 터 고품질의 정보를 도출하기 위해 협업의 텍스트 데이터 를 변환 및 정제하여, 추출된 단어 관계 및 패턴, 규칙을 분석하는 능력이다.

능 력 단 위 요 소	수 행 준 거
2001010508_17v2.1 텍스트 데이터 변환하 기	1.1 주어진 텍스트 데이터를 단어와 문법적 특성에 맞추어 명사, 동사, 꾸밈어, 조사 등의 형태소로 분리할 수 있다.
	1.2 분석하고자 하는 목적 및 데이터 특성에 따라 단어들에 대한 가용 어 및 불용어 처리를 통해 필요 키워드를 추출할 수 있다.
	1.3 텍스트 데이터의 정제, 변환을 통해 말뭉치를 작성할 수 있다.
	1.4 정제된 말뭉치로부터 단어와 문서의 관계를 표현하기 위해 문서-단 어 행렬 혹은 단어-문서 행렬을 작성할 수 있다.
	1.5 문서-단어 행렬, 혹은 단어-문서 행렬로부터 단어의 빈도와 연관성 등의 기본 집계를 수행할 수 있다.
	【지식】 • 텍스트 문장의 형태소 분석
	• 문장의 문법과 언어적 문맥
	• 필요한 단어를 추출해 낼 수 있는 텍스트 처리 방법
	• 문장 의미 분석
	• 자연어 처리 이론
	• 단어 빈도 집계 및 연관성 분석
	【기술】 • 텍스트 데이터 파싱(Parsing) 및 스테밍(Stemming) 기술
	• 가용어 및 불용어 처리 기술
	• 단어-문서 행렬 혹은 문서-단어 행렬 변환 기술
	• 자연어 처리 기술
	• 단어 빈도 및 연관성 수치 계산 능력
	【태도】 • 분석적이고 논리적인 사고
	• 과학적이고 체계적인 텍스트 분석에 대한 주의력
	• 새로운 아이디어를 생각해내고 실제 적용해보려는 실험 정신
	• 언어의 문맥과 의미를 이해하고 이를 텍스트 처리에 효과적으로 반 영하려는 진취적 태도
	• 반복적이고 절차적인 텍스트 처리에 대한 섬세하고 꼼꼼한 접근 자 세
2001010508_17v2.2 텍스트 데이터 분석 수행방법 계획하기	2.1 조직 목표와 전략 및 방침에 따라 텍스트 분석 필요성을 판단하여 텍스트 분석 전체 프로세스를 기획하고 관리할 수 있다.
	2.2 분석 대상 텍스트 데이터의 특성, 문맥 및 목적에 적합한 텍스트 분 석 기법과 절차를 판단할 수 있다.
	2.3 텍스트 데이터 분석을 통해 도출하고자 하는 최종 결과물에 적합한 분석 방법론과 산출물을 사전 계획할 수 있다.

2001010508_17v2.2 텍스트 데이터 분석 수행방법 계획하기	2.4 수립된 계획과 절차에 맞추어 텍스트 데이터 분석이 효과적으로 이 루어질 수 있도록 수행계획을 문서화하고 구성원에게 공유할 수 있다.
	【지식】 • 조직의 전략 방향 및 비즈니스 목표
	• 현업 업무 및 수행 프로세스
	• 텍스트 마이닝 기법
	• 해당 언어에 대한 문법 및 문장구조
	【기술】 • 조직 전략방향 분석 능력
	• 비즈니스 목표 분석 능력
	• 문제 핵심 파악 및 이슈 도출 능력
	• 프로젝트 기획 및 관리 능력
	• 프로세스 분석 및 설계 기술
	• 대상 텍스트 데이터에 문장 의미 분석 능력
	• 텍스트 데이터 변환 및 전처리 기술
	【태도】 • 분석적이고 논리적인 사고
	• 조직의 전략과 방향성을 적극적으로 이해하려는 자세
	• 문제에 대한 호기심과 본질을 파고들려고 하는 집요한 자세
	• 원활한 커뮤니케이션 창출을 위한 의지
	• 설득력있는 언어를 구사하려는 자세
	• 지식의 한계를 인정하고, 새로운 것을 계속적으로 습득하고 배우려 는 자세
2001010508_17v2.3 텍스트 데이터 분류 결과 분석하기	3.1 수립된 분석 계획에 따라 필요한 텍스트 데이터 분류 방법을 적용 할 수 있다.
	3.2 분류된 항목에 따라 집계, 판별, 예측 등의 텍스트 데이터 분류분석 작업을 수행할 수 있다.
	3.3 분석 결과에서 분석의 목적 및 해결하고자 하는 이슈에 적합한 의 미나 인사이트를 도출할 수 있다.
	3.4 분석 결과를 커뮤니케이션하기 위해 시각화하고 문서화할 수 있다.
	【지식】 • 현업 업무 및 수행 프로세스
	• 통계학 기반의 분석방법론
	• 분류 및 예측 위한 머신러닝 기법
	• 워드 클라우드 및 문서 클러스터링 기법
	• 최신 분석 기법 발전 트렌드와 연구 동향
	• 최신 텍스트 처리 기법 발전 트렌드와 연구 동향
	【기술】 • 문제 및 이슈 관련하여 분석을 통해 가설을 검증할 수 있는 능력
	• 통계 및 데이터 분석에 특화된 언어를 다룰 수 있는 기술
	• 기존의 알고리즘을 융합하거나 새로운 알고리즘을 설계하고 구현할 수 있는 능력

2001010508_17v2.3 텍스트 데이터 분류 결과 분석하기	• 자동화 처리 및 시스템 구현 위한 개발 능력
	【태도】 • 분석적이고 논리적인 사고
	• 조직의 전략과 방향성을 적극적으로 이해하려는 자세
	• 문제를 심층까지 파고들어 핵심에 있는 의문점을 밝혀내려는 자세
	• 방대한 텍스트 데이터 속에서 유의미한 패턴을 찾아낼 수 있는 적응 력
	• 새로운 연구 동향과 방법론을 습득하려는 의지
	• 지식의 한계를 인정하고, 새로운 것을 계속적으로 습득하고 배우려 는 자세
2001010508_17v2.4 정형 데이터 결합 분 석 수행하기	4.1 조직의 이슈와 당면과제에 따라 필요한 정형-비정형 데이터 분석 모델을 기획할 수 있다.
	4.2 분석 목표 및 계획에 따라 필요한 정형 데이터를 추출하고 비정형 텍스트 데이터와 결합할 수 있다.
	4.3 분석 목표 달성을 위해 필요한 분석기법과 기술을 적용하여 결과를 도출할 수 있다.
	4.4 조직 목표를 달성하기 위해 데이터 처리 절차와 모델 구축 결과 및 평가결과를 문서화하고 조직내 여러 계층에게 커뮤니케이션할 수 있다.
	4.5 예측 및 새로운 데이터 평가 결과를 실제 현업 업무나 상용 서비스 에 구현하기 위해 프로세스화 작업을 수행할 수 있다.
	【지식】 • 현업 업무 및 수행 프로세스
	• 프로세스 및 조직 업무 처리 방식
	• 통계학 및 머신러닝 기반의 분석 모델링
	• 모델 정확도 및 예측력을 향상시키기 위한 파라미터 조절
	• 조직내 IT 인프라 및 시스템
	• 데이터 시각화 및 인포그래픽스
	【기술】 • 대용량 데이터 핸들링 및 처리 능력
	• 정형 데이터 및 비정형 데이터 분석에 특화된 데이터를 다룰 수 있 는 기술
	• 자동화 처리 및 시스템 구현 위한 개발 능력
	• 커뮤니케이션을 위한 문서화 능력
	【태도】 • 분석적이고 논리적인 사고
	• 문제에 대한 호기심과 본질을 파고들려고 하는 집요한 자세
	• 새로운 아이디어를 생각해내고 실제 적용해보려는 실험 정신
	• 과학적이고 체계적인 모델 구축에 대한 주의력
	• 원활한 커뮤니케이션 창출을 위한 의지
	• 설득력있는 언어를 구사하려는 자세
	• 지식의 한계를 인정하고, 새로운 것을 계속적으로 습득하고 배우려 는 자세

•	이 능력단위는 조직내/외부에 다양한 형태로 존재하는 텍스트 데이터로부터 주요 키워드를 추출 및 처리, 구조화하여 그 결과를 해석하거나 현업 프로세스 반영의 필요성이 있는 업무에 적용한다.
•	비정형 데이터는 데이터 스키마가 존재하지 않거나, 관계형 데이터베이스에 저장이 어려운 데이터 형태를 의미하며, DB 형태가 아닌 텍스트 데이터, 로그 데이터, 이미지, 동영상 등의 데이터 등을 비정형 데이터로 분류하나, 일반적으로 텍스트 데이터가 가장 대표적이고 분석 활용 가능성이 높은 것으로 검토되고 있으므로, 이 능력단위에서는 텍스트마이닝 기반의 데이터 분석에 한하여 적용하 는 것으로 한다.
•	텍스트 데이터 변환하기는 문장의 형태소 분리, 주요 구두점 및 공백 제거, 필요 키워드 추출, 말뭉 치 (Corpus) 만들기, 문서-단어행렬 (또는 단어-문서행렬) 생성 등을 포함한다.
•	말뭉치 (Corpus)는 텍스트 데이터 정제, 통합, 변환의 절차를 거친 구조화된 형태, 즉 의미 있는 단어 집합을 말한다.
•	문서-단어 행렬 (또는 단어-문서 행렬)은 텍스트 데이터 변환 후, 데이터간의 연관성은 고려하지 않 은 상태로 행은 문서, 열은 단어 (또는 행은 단어, 열은 문서)로 추상화한 행렬 형태의 데이터 구조 를 의미하며 수치 값은 n번째 문서에서 i번째 단어가 나타난 횟수나 빈도를 표시한다.
•	문서-단어 행렬로 변환하고 난 후에 문서내 각 단어 별로 빈도나 가중치를 특성 벡터 형태로 수치 화하여 계산할 수 있으므로, 일반적인 정형 데이터에 사용하는 머신러닝이나 통계적 기법을 적용할 수 있다.
•	텍스트 데이터 변환 및 특성 벡터화 한 후에는 비정형 텍스트 자료를 구조화된 수치 데이터 자료와 유사하게 다룰 수 있으므로, 텍스트 데이터 변환이 완료된 후의 분석은 다음의 기능을 포함한다.
	- 문서 요약 (Summarization)
	- 문서 분류 (Classification)
	- 문서 군집 (Clustering)
	- 특성 추출 (Feature Extraction)
•	감성 분석 (Sentiment Analysis)은 문장에서 사용된 단어의 긍정과 부정여부에 따라 얼마나 긍정적인 단어가 많은지 (혹은 부정적인 단어가 많은지)를 계산하여 그 문장의 긍정 혹은 부정 여부를 판단하 는 분석을 말한다.

•	조직 경영전략 및 목표
•	분석 기획안 (분석 목표, 가설 수립, 분석 설계, 일정 계획 등)
•	요건 정의서
•	조직내 활용 솔루션 매뉴얼 및 기능 명세서
•	텍스트마이닝 기법 및 방법론 관련 도서/논문
•	데이터 처리 및 분석 알고리즘 소개 논문/자료
•	프로그래밍 관련 도서
•	분석 수행 산출물 (주요 통계량, 가설검증결과, 주요 도표, 프로그램 코드, 주석 등)
•	분석 결과 보고서

◉ 적용범위 및 작업상황

고려사항

자료 및 관련 서류

•	컴퓨터
•	문서작성 도구
•	텍스트 분석 및 마이닝 위한 소프트웨어 혹은 패키지
•	텍스트 데이터 처리용 프로그래밍 언어 실행환경
•	고객정보, 개인정보 마스킹 또는 비식별화 처리 위한 변환 시스템
•	정보보안 위한 이중화 시스템
•	텍스트 분석 결과 시각화 위한 도구 및 환경

•	해당없음

장비 및 도구

재료

•	평가자는 능력단위 텍스트 데이터 분석의 수행준거에 제시되어 있는 내용을 평가하기 위해 이론과 실기를 나누어 평가하거나 종합적인 결과물의 평가 등 다양한 평가 방법을 사용할 수 있다.

• 피평가자의 과정평가 및 결과평가 방법

평 가 방 법	평 가 유 형
	과 정 평 가	결 과 평 가
A.포트폴리오
B.문제해결 시나리오	√
C.서술형시험	√
D.논술형시험
E.사례연구		√
F.평가자 질문	√	√
G.평가자 체크리스트
H.피평가자 체크리스트
I.일지/저널
J.역할연기
K.구두발표		√
L.작업장평가
M.기타

• 수행준거에 제시되어 있는 내용을 성공적으로 수행할 수 있는지를 평가해야 한다.

• 평가자는 다음 사항을 평가해야 한다.

-	조직의 전략방향 및 이슈에 적합한 분석 목표와 방향성 설정
-	조직의 정형/비정형 데이터 형태 및 저장 아키텍처에 대한 이해
-	조직의 내/외부 원천별 데이터 구조 및 연동방법에 대한 이해
-	분석 기획안 또는 분석 수행 계획서 작성 능력
-	분석하고자 하는 언어 (한글, 영어 등)에 대한 문법 및 문장구조에 대한 이해
-	텍스트 문장의 형태소 분석 능력
-	필요한 단어를 추출해 낼 수 있는 텍스트 처리 방법에 대한 이해
-	문장 의미 분석 (Lexical Semantic Pattern)에 대한 이해
-	자연어 처리에 대한 이해
-	여러 문서내의 통계적 가중치 추출 (TF-IDF 등) 방법 이해
-	주요 개체들 사이의 의미적 관계 인식 및 추출 가능 능력
-	검색 활용 및 온톨로지 구축용 트리플(Triple) 추출 능력
-	예측 정확도 향상이나 오분류율 감소를 위한 모델 개선 능력
-	텍스트 처리 및 분석 위한 소프트웨어 또는 프로그래밍 언어 활용 능력
-	최신 텍스트마이닝 기법 또는 알고리즘에 대한 학습능력
-	기술 문서 또는 논문 등에 대한 분석 능력
-	수학적 공식 및 논리적 알고리즘을 실제 프로그램으로 구현할 수 있는 개발 능력
-	분석결과를 명확하고 이해하기 쉽게 구조화하고 시각화하는 능력

◉ 평가지침

평가방법

평가시 고려사항

-	내/외부 고객 또는 관련 부서와의 커뮤니케이션 능력

순번	직 업 기 초 능 력
	주 요 영 역	하 위 영 역
1	의사소통능력	경청 능력, 기초외국어 능력, 문서이해 능력, 문서작성 능력, 의사표현 능력
2	수리능력	기초연산 능력, 기초통계 능력, 도표분석 능력, 도표작성 능력
3	문제해결능력	문제처리 능력, 사고력
4	자기개발능력	경력개발 능력, 자기관리 능력, 자아인식 능력
5	정보능력	정보처리 능력, 컴퓨터활용 능력
6	기술능력	기술선택 능력, 기술이해 능력, 기술적용 능력

◉ 직업기초능력

구 분	내 용
직무명칭(능력단위명)	빅데이터 분석(텍스트 데이터 분석)

분류번호	현재	2001010508_17v2

개발연도	현재	2017
	최초(1차)	2015
버전번호		v2
개발기관	현재	한국소프트웨어산업협회
	최초(1차)
향후 보완 연도(예정)		2020
개선사유		능력단위 아래 내용 일부 개선(능력단위요소 삭제, 수행준거 수정, 적용범위 및 작업상황 수정, 장비 및 도구 수정)

◉ 개발이력