일괄 처리를 넘어 데이터 스트리밍을 통해 ERP가 더 빠르게 운영되는 방법

데이터가 이동합니다. 수명의 어느 시점에 있는 모든 데이터는 한 위치 또는 다른 위치에서 이동되었거나 이동되었습니다. 데이터베이스에서 애플리케이션으로, 어떤 형태의 클라우드 기반 저장소에서 IoT 장치로, 또는 단순히 운영 체제 내부 서비스나 관련 연결 지점 사이에서 데이터는 거의 항상 이동 중입니다.

데이터가 장기간 저장되어 저장되어 있는 경우에도 일반적으로 한 단계 또는 다른 단계에서 특정 형태의 전송 메커니즘을 통해 처리됩니다. 이러한 핵심 진리는 우리가 종종 데이터의 흐름에 초점을 맞추고 적시에 필요한 위치에 도달하는 능력을 검사한다는 것을 의미합니다.

천년 이전 시대를 되돌아보면 데이터 서비스와 이에 의존하는 사용자는 데이터 백본이 최신 정보를 제공하기를 원할 경우 "야간 빌드"를 수용해야 하는 경우가 많았습니다. 이는 워크로드 자동화 또는 작업 예약이라고도 알려진 일괄 처리 시대였습니다(사실 지금도 그렇습니다).

데이터 통합 ​​및 엔터프라이즈 클라우드 플랫폼 기업에 따르면팁코, 일괄 처리는 짧은 시간에 엄청난 양의 데이터를 처리하는 비용 효율적인 방법입니다.

“일괄 처리의 좋은 예는 신용카드 회사의 청구 방식입니다. 고객이 신용카드 청구서를 받으면 거래별로 별도의 청구서가 발행되지 않습니다. 오히려 한 달 전체에 대해 하나의 청구서가 있습니다. 해당 청구서는 일괄 처리를 통해 생성됩니다. 모든 정보는 한 달 동안 수집되지만 특정 날짜에 한꺼번에 처리됩니다.”라고 Tibco는 기술 브리핑 문서에서 밝혔습니다.

배치를 넘어 실시간으로

그러나 이제 세상은 배치보다 더 빠르게 움직입니다. 우리 모두는 스마트폰이 몇 초 만에 적시에 서비스를 제공해야 하고 엔터프라이즈 애플리케이션이 지속적으로 통합된 서비스와 연결을 제공해야 하는 상시 접속 세상에서 일하고 있습니다. 바야흐로 실시간 데이터 시대입니다.

이 분야의 구현 기술 중 핵심은 다음과 같습니다.아파치 카프카. 2011년으로 거슬러 올라가는 이 기술은 회사에서 근무하는 소프트웨어 엔지니어가 주도하는 메시징 대기열을 생성하는 내부 프로젝트에서 나왔습니다.링크드인."기본" 메시징 대기열 시작부터 Apache Kafka 데이터 스트리밍 플랫폼은 이제 초당 수 백만 개가 넘는 메시지를 처리할 수 있으며, 이는 하루에 수조 개의 메시지에 해당합니다.

이 기술은 Kafka를 뛰어넘습니다 – Jay Kreps, Confluent

순수 Apache Kafka는 운영 관리 책임이 사용자에게 있는 오픈 소스로 남아 있지만,지류 완전관리형 클라우드 네이티브 스트림 처리 및 분석 서비스를 제공합니다. Confluent 공동 창립자이자 CEO인 Jay Kreps는 최신 실시간 애플리케이션 사용 사례에 대해 "Kafka를 뛰어넘는" 기술로 실시간 의사 결정 또는 적어도 그러한 프로세스의 디지털 반복을 지원하는 기술입니다. .

데이터 스트리밍이란 무엇입니까?

잠시 소프트웨어 공학 학교로 돌아가서 데이터 스트리밍을 컴퓨팅 원리로 정의할 수 있습니다. 이는 애플리케이션, 구성 요소 또는 서비스를 통과하는 데이터의 시간 순서에 따른 시퀀스를 감독하는 접근 방식을 나타냅니다. 일반적으로 특정 IT 시스템 내에서 발생하는 하위 수준 데이터 기록에 초점을 맞춘 데이터 스트리밍 서비스는 단일 키보드 스트로크부터 산업 기계 계측 센서 판독에 이르기까지 모든 것과 관련된 로그 파일을 전달합니다.

이러한 기록은 세분화되고 작기 때문에 일단 집계되면 IT 배포 내부에서 정확히 무슨 일이 일어나고 있는지에 대한 풍부한 설명을 그리는 데 도움이 됩니다. 이러한 현실은 논리적으로 우리를 ERP로 안내합니다. 즉, 데이터 스트리밍 분석은 엔터프라이즈 소프트웨어 애플리케이션 또는 기능 내부에서 일어나는 일에 대한 정밀한 엔지니어링 보기를 제공할 수 있습니다. 그렇다면 이 힘을 어떻게 적용할 수 있을까요?

EMEA 북부 SVP인 Chris Gorton은 "여기서 분명히 말하지만 데이터는 모든 조직을 순조롭게 유지하는 것입니다. 따라서 데이터 스트리밍이 약속하는 실시간 액세스는 논리적으로 큰 자산으로 보아야 합니다."라고 말합니다. 데이터 관리 플랫폼 회사의 남부 및 신흥 시장