지난시간 빅데이터 관련 용어 1탄 – 데이터 종류 에 이어서!
오늘은 빅데이터관련 용어 제 2탄 기술편을 준비했습니다!
오늘은 빅데이터의 특징과 주요 기술 러닝, 마이닝에 대해 알아보겠습니다.
우선, 빅데이터란?
지난시간에 빅데이터에 대해 설명 드렸으나 못 보신 분들을 위해! 빅데이터란 디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터 뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말합니다.
◆ 빅데이터 특징 3V? 5V란?!!
빅데이터 특징으로는 기본적으로 3V로 Volume(규모), Velocity(속도), veriety(다양성)이였는데 최근에는 많은 정보 중 중요한 정보를 찾아내는 것이 빅데이터 활용의 핵심으로 Vercity(정확성)과 Value(가치)가 더 추가 되어 5V 가 되었습니다.
◆빅데이터 특징 5V - Volume(규모) : 많은 양의 데이터 - Variety(다양성) : 일반적인 정형 데이터와 계량화 및 수치화가 힘든 비정형적 데이터(Unstructired Data)도
포함 됨. - Velocity(속도) : 기술 발달로 대용량의 데이터를 빠른 속도로 수집, 분석, 처리 할 수 있고 데이터 생산 속도도
빠름. - Vercity(정확성) : 방데한 데이터 중 질 높은 데이터로 정보의 정확성을 가져야 함. - Value(가치) : 빅데이터가 추구하는 것은 데이터를 통한 가치 창출이기에 빅데이터 분석을 통해 도출된 결론은
통찰력 있고 유용한 정보의 특징을 가짐.
이런 특징을 가진 빅데이터의 활용분야가 넓어지면서 딥러닝, 머신러닝, 마이닝과 같은 용어를 들어 보신 적 있죠?
들어는 봐도 그 의미를 잘 몰랐다면 주목해주세요!
◆ 마이닝(mining) 이란? 마이닝이란 채굴, 채광의 뜻으로 가치 있는 정보나 지식을 찾아내는 것 을 의미합니다. 마이닝과 빅데이터가 만나면 빅데이터 속 가치있는 정보를 찾아내는 것을 의미하겠죠? 더 정확히 말해서 “데이터마이닝(Data mining)”이라고 칭합니다.
- 데이터 마이닝(Data mining)이란? 과거에는 몰랐던 데이터 속에서 새로운 데이터 모델을 발견하여 미래에 실행 가능한 정보를 추출해내고 의사 결정에 이용하는 과정을 말합니다. 즉 데이터 마이님이란 광산에서 광석을 캐내는 것에 비유해 수많은 데이터 속에서 정보를 캐내 의사결정에 이용하는 것을 말합니다. 또 다른 말로는 KDD(데이터베이스 속의 지식 발견, knowledge-discovery in databases)라고도 합니다.
예를 들면 백화점의 판매 데이터베이스의 데이터를 분석하여 금요일 오전에는 어떤 상품들이 잘 팔리는지, 팔리는 상품들 간에는 어떤 상관관계가 있는지 등을 발견하고 이를 판매 전략을 세우는데 활용하는 것이 바로 데이터마이닝 입니다.
- 텍스트 마이닝 (Text Mining) 이란? 데이터마이닝이 정형화된 데이터를 주대상으로 새로운 정보를 발견하는 기술이라면 텍스트 마이닝은 비정형, 반정형 텍스트 데이터에서 자연어 처리 기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 사용하는 기술입니다. 인스타그램, 트위터, 페이스북, 블로그와 같은 SNS 채널과 카페 등의 다양한 온라인 상의 텍스트 데이터를 수집하여 분석하는 기술을 텍스트 마이닝이라고 합니다.
- 딥러닝 (Deep Learning) 빅데이터와 인공지능의 활용분야가 넓어지면서 등장한 용어 바로 딥러닝인데요. 딥 러닝은 사물이나 데이터를 군집화 하거나 분류하는데 사용하는 기술 중 하나로 인간의 뉴런과 비숫한 인공신경망 방식으로 정보를 처리하는 기술을 말합니다. 컴퓨터가 학습을 통해서 데이터를 구분할 수 있도록 하는 예측 방법으로 이세돌과 대결했던 알파고처럼 수많은 기보들을 기반으로 패턴을 발견해 사람과 바둑을 둘 수 있는 인공지능도 딥러닝 기술을 활용한 사례입니다.
딥러닝은 머신러닝의 한 갈래지만 차이점은 머신러닝은 기계가 학습을 하기 위해 사람이 개입되는 반면 딥 러닝은 주어진 데이터를 그대로 입력데이터로 활용하여 데이터 자체에서 중요한 특징을 기계가 스스로 학습합니다. 그래서 딥러닝은 사람이 개입하여 발생하는 오류를 줄 일 수 있습니다.
- 머싱러닝 (Machine Learning) 머싱러닝이란 인공지능의 한 분야로, 빅데이터 핵심기술로 각광받고 있는 기술로 데이터의 생성 양,주기,형식 등이 방대한 빅데이터를 분석해 미래를 예측하는 기술을 말합니다. 데이터를 수집, 분석해 미래를 예측한다는 점에서 빅데이터 분석과 유사하지만 컴퓨터 스스로가 방대한 데이터를 수집, 학습하여 인공지능 성능을 향상시킬 수 있다는 점에서 차이가 있습니다.
예를 들면 포털사이트에서 제공하는 검색어 자동완성 기능, 엘리베이터에 센서를 달아 속도, 출입문 오작동 등의 정보를 분석해 사고발생을 예측하는 것, 범죄자나 잠재적 범죄자의 심리나 행동을 분석해 범행이 어떤 시점, 어떤 장소에서 발생할 가능성이 높은지를 예측하는 것이 머신러닝의 기술을 활용한 사례라고 볼 수 있습니다.
※ [출처] 최신it용어 : 요즘 핫한 언어 쉽게알아보기! 참조하여 작성한 내용입니다.
딥러닝, 마이닝, 머신러닝 등 빅데이터 기술들은 이미 우리가 알게 모르게 많이 경험하고 있었죠? 이세돌과 알바고가 대결 했을 때도 뉴스나 TV, 인터넷 등을 통해서 본 적 있고, 평소 광고성문자, SNS광고 등도 빅데이터를 활용한 마케팅이였단 사실!!
COMMENT (0)개