카프카2

• 카프카 커넥트란? 카프카 커넥트란? 카프카 커넥트는 카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다. 카프카 커넥트는 커넥트와 커넥터로 이루어진다. 커넥트는 커넥터를 동작하도록 실행해주는 프로세스다. 파이프 라인을 생성할 때 프로듀서, 컨슈머 애플리케이션을 만드는 것은 좋은 방법이지만 반복적인 파이프라인 생성 작업이 있을 때는 매번 프로듀서, 컨슈머 애플리케이션을 개발하고 배포, 운영해야 하기 때문에 비효율적이다. 반면, 커넥트는 특정한 작업 형태를 템플릿으로 만들어 놓은 커넥터를 실행함으로써 반복 작업을 줄일 수 있다. 파이프라인 생성 시 자주반복되는 값들(토픽 이름, 파일 이름, 테이블 이름 등)을 파라미터로 받는 커넥터를 코드로 작성하.. 대외활동/카엔프 SW 아카데미 2023. 3. 31.

• 카프카 기초 카프카란? 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼으로, 대용량의 실시간 데이터 스트림을 처리하기 위해 설계되었다. 카프카는 대량의 데이터를 안정적이고 빠르게 처리할 수 있으며, 대규모 분산 시스템에서 확장성과 내결함성을 보장한다. 소스애플리케이션과 타겟 애플리케이션의 결합도를 낮추기 위해 등장했다. 카프카 토픽 카프카에서 데이터가 들어가는 공간을 토픽이라고 부른다. 토픽은 여러 개를 생성할 수 있다. 목적에 따라 이름을 명확하게 적어야 유지보수가 편리하다. 데이터베이스 테이블과 파일 시스템의 파일과 유사하다. 카프카 프로듀서가 토픽에 데이터를 넣고, 카프카 컨슈머가 데이터를 가져간다. 하나의 토픽은 여러 개의 파티션으로 구성된다. 파티션 파티션은 0번부터 시작한다. 파티션은 큐와 .. 대외활동/카엔프 SW 아카데미 2023. 3. 29.