당신이 알아야 할 상위 빅 데이터 기술

빅 데이터 기술,당신은 최근에 많이 듣고 얻을 버즈 단어. 이 글에서,우리는 더 큰 높이에 도달하기 위해 자사의 지점을 확산 빅 데이터를 만든 획기적인 기술을 논의한다.

• 빅데이터 기술이란?
• 빅데이터 기술의 종류
• 상위 빅데이터 기술
• 신흥 빅데이터 기술

빅데이터 기술이란?

빅 데이터 기술은 기존의 데이터 처리 소프트웨어가 결코 다룰 수 없었던 매우 복잡하고 큰 데이터 세트에서 정보를 분석,처리 및 추출하도록 설계된 소프트웨어 유틸리티로 정의 될 수 있습니다.

이 엄청난 양의 실시간 데이터를 분석하고 미래의 위험을 줄이기 위해 결론과 예측을 내놓을 수있는 빅 데이터 처리 기술이 필요합니다.

이제 빅 데이터 기술이 분류되는 범주를 살펴 보겠습니다:

빅 데이터 기술의 종류:

빅 데이터 기술은 주로 두 가지 유형으로 분류됩니다:

1. 운영 빅 데이터 기술
2. 분석 빅 데이터 기술

첫째,운영 빅 데이터는 우리가 생성하는 일상적인 데이터에 관한 것입니다. 이것은 온라인 거래,소셜 미디어 또는 특정 조직의 데이터 일 수 있습니다. 이 분석 빅 데이터 기술을 공급하는 데 사용되는 원시 데이터의 일종으로 간주 할 수 있습니다.

운영 빅 데이터 기술의 몇 가지 예는 다음과 같습니다:

• 철도 티켓,항공권,영화 티켓 등이 포함 된 온라인 티켓 예약
• 아마존,플립 카트,월마트,스냅 거래 및 더 많은 온라인 쇼핑.
• 페이스 북과 같은 소셜 미디어 사이트에서 데이터,인스 타 그램,응용 프로그램 및 더 많은 무엇..
• 다국적 기업의 직원 세부 사항.

그래서,이 우리가 분석 빅 데이터 기술로 이동하자.

분석 빅 데이터는 빅 데이터 기술의 고급 버전과 같습니다. 그것은 운영 빅 데이터보다 조금 복잡하다. 간단히 말해서,분석 빅 데이터는 실제 성능 부분이 그림으로 나타나고 중요한 실시간 비즈니스 의사 결정은 운영 빅 데이터를 분석하여 이루어집니다.

분석 빅 데이터 기술의 예는 다음과 같습니다:

• 주식 마케팅
• 정보의 모든 단일 비트가 중요하다 우주 임무를 수행.
• 일기 예보 정보.
• 특정 환자의 건강 상태를 모니터링 할 수있는 의료 분야.

정보통신산업에서 가장 많이 사용되는 빅데이터 기술을 살펴보자.

상위 빅 데이터 기술

상위 빅 데이터 기술은 다음과 같이 분류되는 4 개의 필드로 나뉩니다:

• 데이터 스토리지
• 데이터 마이닝
• 데이터 분석
• 데이터 시각화

이제 우리가 그들을 사용 하는 회사와 함께 그들의 사실 및 기능,이러한 각 범주에 속하는 기술을 처리 하자.

데이터 저장 분야의 빅데이터 기술부터 시작하겠습니다.

데이터 저장

하둡

하둡 프레임 워크는 간단한 프로그래밍 모델과 상용 하드웨어와 분산 데이터 처리 환경에서 데이터를 저장하고 처리하도록 설계되었습니다. 그것은 높은 속도와 낮은 비용으로 다른 기계에 존재하는 데이터를 저장하고 분석 할 수 있습니다.

• • • • • 에 의해 개발:아파치 소프트웨어 재단 2011 년 12 월 10 일에.
        • 작성:자바
        • 현재 안정 버전:하둡 3.11

하둡을 사용하는 회사:

몽고드브

그러나 생물 과학과 같은 다른 분야에 대한 어플리케이션도 있습니다.. 이것은 프로그래밍 언어와 컴파일러를 내장합니다..

• • • • • 에 의해 개발:몽고 드 2009 년 2 월 11 일
        • 에 작성: 현재 안정 버전은 다음과 같습니다.4.0.10

몽고드를 사용하는 회사:

레인스터

레인스터는 대기업의 빅데이터를 관리하고 분석하기 위해 같은 이름의 데이터베이스 관리 시스템을 개발한 소프트웨어 회사입니다. 중복 제거 기술을 사용하여 참조를 위해 많은 양의 데이터를 저장하는 프로세스를 구성합니다.

• • • • • 2004 년 레인 스터 소프트웨어 회사:에 의해 개발.현재 안정 버전:레인 스터 5.5

레인스터를 사용하는 회사:

큰엉덩이

가상 인덱스를 통해 원격 하둡 클러스터의 데이터에 액세스할 수 있으며 스플렁크 검색 처리 언어를 사용하여 데이터를 분석할 수 있습니다. 데이터 소스를 보고하고 시각화할 수 있습니다.

• • • • • 에 의해 개발:2013 년 스플 렁크 주식 회사.
        • 작성자:자바
        • 현재 안정 버전:스플렁크 헝크 6.2

이제 데이터 마이닝에 사용되는 빅 데이터 기술로 넘어 갑시다.

데이터 마이닝

프레스토

이 문서는 기계 번역되었으므로 어휘,구문 또는 문법에서 오류가 있을 수 있습니다 프레스토 하이브,카산드라,관계형 데이터베이스 및 독점 데이터 저장소에서 데이터를 쿼리 할 수 있습니다.

• • • • • 2013 년 아파치 재단:에 의해 개발.
        • 작성:자바
        • 현재 안정 버전:프레스토 0.22

프레스토를 사용하는 회사:

빠른 광부

래피드마이너는 사용자가 예측 분석을 생성,제공 및 유지 관리할 수 있는 매우 강력하고 강력한 그래픽 사용자 인터페이스를 제공하는 중앙 집중식 솔루션입니다. 그것은 여러 언어로 지원을 스크립팅,매우 고급 워크 플로우를 만들 수 있습니다.

• • • • • 에 의해 개발: 2001 년 래피드 마이너
        • 작성:자바
        • 현재 안정 버전:래피드 마이너 9.2

래피드마이너를 사용하는 회사:

이 경우,빅 데이터 기술 스토리지를 사용하는 것이 가장 좋습니다.-7

탄성 서치는 루씬 라이브러리를 기반으로 검색 엔진입니다. 이것은 수학적으로 정확한 유형 계층구조인,강력한 타입을 정의합니다.

• • • • • 에 의해 개발: 2012 년에 탄성 네바다.
        • 작성자:자바
        • 현재 안정 버전:탄성 검색 7.1

탄성 검색을 사용하는 회사:

이를 통해 우리는 이제 데이터 분석에 사용되는 빅 데이터 기술로 이동할 수 있습니다.

데이터 분석

카프카

아파치 카프카는 분산 스트리밍 플랫폼입니다. 스트리밍 플랫폼에는 다음과 같은 세 가지 주요 기능이 있습니다:

• • • • • 게시자
        • 구독자
        • 소비자

이는 메시지 큐 또는 엔터프라이즈 메시징 시스템과 유사합니다.

• 개발:아파치 소프트웨어 재단 2011 년
• 작성:스칼라,자바
• 현재 안정 버전:아파치 카프카 2.2.0

카프카를 사용하는 회사:

스플렁크

스플렁크 그래프,보고서,경고,대시보드 및 데이터 시각화를 생성할 수 있는 검색 가능한 리포지토리에서 실시간 데이터를 캡처,색인 및 상관합니다. 또한 응용 프로그램 관리,보안 및 규정 준수,비즈니스 및 웹 분석에도 사용됩니다.

• • • • • 2014 년 5 월 6 일에 스플렁크 주식 회사:에 의해 개발
        • 현재 안정 버전:스플렁크 7.3

스플렁 크를 사용하는 회사:

크니메

크니메는 사용자가 시각적으로 데이터 흐름을 생성하고,일부 또는 모든 분석 단계를 선택적으로 실행하고,결과,모델 및 대화형 뷰를 검사할 수 있도록 합니다. 크니메는 자바로 작성 및 이클립스를 기반으로 추가 기능을 제공하는 플러그인을 추가 할 수있는 확장 메커니즘을 사용한다.

• • • • • 에 의해 개발:2008 년 크니메
        • 에 작성: 자바
        • 현재 안정 버전:크니메 3.7.2

니메를 사용하는 회사:

스파크

스파크는 다양한 응용 프로그램을 지원하는 일반화 된 실행 모델 인 속도를 제공하는 인 메모리 컴퓨팅 기능을 제공하며 개발의 용이성을 위해 자바,스칼라 및 파이썬 아피스.

• • • • • 에 의해 개발:아파치 소프트웨어 재단
        • 작성:자바,스칼라,파이썬,연구
        • 현재 안정 버전:아파치 스파크 2.4.3

스파크를 사용하는 회사:

언어

아르 자형 통계 컴퓨팅 및 그래픽을위한 프로그래밍 언어 및 무료 소프트웨어 환경입니다. 연구 언어는 통계 소프트웨어 개발 및 주로 데이터 분석을 위해 통계 학자 및 데이터 광부 사이에서 널리 사용됩니다.

• • • • • 에 의해 개발:아르 자형-재단 2000 년 2 월 29 일
        • 작성:포트란
        • 현재 안정 버전:아르 자형-3.6.0

아르 자형 언어를 사용하는 회사:

블록체인

블록체인은 결제,에스크로,타이틀 등의 필수 기능에 사용되어 사기를 줄이고,금융 프라이버시를 높이고,거래 속도를 높이고,시장을 국제화할 수 있다.

블록체인은 비즈니스 네트워크 환경에서 다음을 달성하기 위해 사용될 수 있습니다:

• • • • • 공유 원장: 여기서 우리는 비즈니스 네트워크를 통해 레코드의 분산 시스템을 추가 할 수 있습니다.
        • 스마트 계약:비즈니스 용어는 트랜잭션 데이터베이스에 포함되고 트랜잭션과 함께 실행됩니다.
        • 개인 정보 보호:적절한 가시성 보장,거래는 안전하고 인증되며 검증 가능
        • 합의:비즈니스 네트워크의 모든 당사자는 네트워크 검증 거래에 동의합니다.

• 현재 안정 버전:블록 체인 4.비트 코인
• 작성자:자바 스크립트,기음++,파이썬
• 현재 안정 버전:블록 체인 4.0

블록 체인을 사용하는 회사:

이를 통해 우리는 데이터 시각화 빅 데이터 기술

데이터 시각화

극적 장면

극적 장면은 비즈니스 인텔리전스 업계에서 사용되는 강력하고 빠르게 성장하는 데이터 시각화 도구입니다. 데이터 분석은 극적 장면과 매우 빠르며 생성 된 시각화는 대시 보드 및 워크 시트의 형태입니다.

• • • • • 극적 장면 2013 년 5 월 17 일
        • 에 의해 개발: 현재 안정 버전:극적 장면 8.2

극적 장면을 사용하는 회사:

음모론

주로 그래프를 더 빠르고 효율적으로 만드는 데 사용됩니다. 파이썬에 대한 라이브러리,아르 자형,매트랩,노드.그리고 그 이유는 무엇입니까? 음모는 또한 주피터 노트북으로 대화 형 그래프를 스타일링하는 데 사용할 수 있습니다.

• • • • • 에 의해 개발: 줄거리 2012 년
        • 작성:자바 스크립트
        • 현재 안정 버전:줄거리 1.47.4

음모를 사용하는 회사:

이제 신흥 빅 데이터 기술에 대해 논의하겠습니다

신흥 빅 데이터 기술

텐서 플로우

텐서플로우에는 도구,라이브러리 및 커뮤니티 리소스로 구성된 포괄적이고 유연한 에코시스템이 있어 연구자가 기계 학습 분야에서 최첨단 기술을 활용할 수 있으며 개발자는 기계 학습 기반 애플리케이션을 쉽게 구축하고 배포할 수 있습니다.

• • • • • 에 의해 개발:2019 년 구글 브레인 팀
        • 작성: 현재 안정 버전:텐서 플로우 2.0 베타

텐서 플로우를 사용하는 회사:

광속

이것은 수학적으로 정확한 유형 계층구조인,강력한 타입을 정의합니다.

• • • • • 에 의해 개발: 올해 아파치 소프트웨어 재단 2016 6 월 15 일
        • 작성:자바,파이썬
        • 현재 안정 버전:아파치 빔 0.1.0 인큐베이팅.

빔을 사용하는 회사:

도커

도커는 컨테이너를 사용하여 응용 프로그램을 쉽게 생성,배포 및 실행할 수 있도록 설계된 도구입니다. 컨테이너를 통해 개발자는 라이브러리 및 기타 종속성과 같이 필요한 모든 부분을 가진 응용 프로그램을 패키지화하고 모든 것을 하나의 패키지로 제공 할 수 있습니다.

• • • • • 3 월 2003 년 13 일에 도커 주식 회사:에 의해 개발.
        • 작성:
        • 현재 안정 버전:도커 18.09

도커를 사용하는 회사:

기류

아파치 기류는 데이터 파이프라인을 작성하고 관리하는 데 사용할 수 있는 워크플로우 자동화 및 스케줄링 시스템입니다. 공기 흐름은 작업의 지시 비순환 그래프(다그)로 만든 워크 플로우를 사용합니다. 코드에서 워크플로를 정의하면 유지 관리,테스트 및 버전 관리가 쉬워집니다.

• • • • • 에 의해 개발:아파치 소프트웨어 재단 2019 년 5 월 15 일
        • 작성:파이썬
        • 현재 안정 버전:아파치 공기 흐름 1.10.3

공기 흐름을 사용하는 회사:

쿠버네티스

쿠버네티스는 2014 년 구글이 오픈소스한 벤더 불가지론 클러스터 및 컨테이너 관리 툴이다. 그것은 자동화,배포,확장 및 호스트의 클러스터에 걸쳐 응용 프로그램 컨테이너의 운영을위한 플랫폼을 제공합니다.

• • • • • 개발:2015 년 클라우드 네이티브 컴퓨팅 재단 7 월 21 일
        • 작성:이동
        • 현재 안정 버전:쿠버네티스 1.14

쿠버네티스를 사용하는 회사:

이것으로,우리는이 문서의 끝에 온다. 나는 빅 데이터와 그 기술에 대한 지식에 약간의 빛을 던진 희망.

이제 빅 데이터와 그 기술을 이해 했으므로 전 세계에 250,000 명 이상의 만족스런 학습자 네트워크를 보유한 신뢰할 수있는 온라인 학습 회사 인 에두레카의 하둡 교육을 확인하십시오. 에두레카 빅 데이터 하둡 인증 교육 과정은 학습자가 소매,소셜 미디어,항공,관광,금융 영역에서 실시간 사용 사례를 사용하여 하드 디스크,원사,맵리 듀스,돼지,하이브,하이브,우지,수로 및 스퀘어 쿠프의 전문가가 될 수 있도록 도와줍니다.