오늘은 부하 테스트 툴인 nGrinder에 대해 설치해보겠습니다. 저는 로컬 MacOS 환경과 Kakao I Cloud VM Linux ubuntu 모두 동일하게 적용했습니다. 1. nGrinder 설치 wget을 사전에 설치해야 한다. sudo wget https://github.com/naver/ngrinder/releases/download/ngrinder-3.5.6-20221007/ngrinder-controller-3.5.6.war 2. nGrinder 실행 기본 포트가 8080 포트이다. 본인은 8081 포트로 실행했다. sudo java -jar ngrinder-controller-3.5.6.war --port=8081 아래와 같이 정상적으로 실행된다. 3. nGrinder 접속 이제 loc..
카프카 커넥트란? 카프카 커넥트는 카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다. 카프카 커넥트는 커넥트와 커넥터로 이루어진다. 커넥트는 커넥터를 동작하도록 실행해주는 프로세스다. 파이프 라인을 생성할 때 프로듀서, 컨슈머 애플리케이션을 만드는 것은 좋은 방법이지만 반복적인 파이프라인 생성 작업이 있을 때는 매번 프로듀서, 컨슈머 애플리케이션을 개발하고 배포, 운영해야 하기 때문에 비효율적이다. 반면, 커넥트는 특정한 작업 형태를 템플릿으로 만들어 놓은 커넥터를 실행함으로써 반복 작업을 줄일 수 있다. 파이프라인 생성 시 자주반복되는 값들(토픽 이름, 파일 이름, 테이블 이름 등)을 파라미터로 받는 커넥터를 코드로 작성하..
카프카 스트림즈란? 카프카 스트림즈는 토픽에 적재된 데이터를 상태기반 또는 비상태기반으로 실시간 변환하여 다른 토픽에 적재하는 자바 라이브러리다. 스트림즈는 카프카에서 공식적으로 지원하는 라이브러리다. 자바 기반 스트림즈 애플리케이션은 카프카 클러스터와 완벽하게 호환되면서 스트림 처리에 필요한 편리한 기능들(신규 토픽 생성, 상태 저장, 데이터 조인 등)을 제공한다. 비상태 기반 처리 필터링이나 데이터를 변환하는 처리다. 데이터가 들어오는 즉시 처리하고 바로 프로듀스한다. 따라서 유실이나 중복이 발생할 염려가 적고 개발이 쉽다. 상태 기반 처리 상태 기반 처리는 직접 구현이 너무 어렵다. 윈도우, 조인, 취합과 같은 처리는 이전 받았던 데이터를 프로세스가 메모리에 저장하고 있으면서 다음 데이터를 참조해 ..
카프카란? 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼으로, 대용량의 실시간 데이터 스트림을 처리하기 위해 설계되었다. 카프카는 대량의 데이터를 안정적이고 빠르게 처리할 수 있으며, 대규모 분산 시스템에서 확장성과 내결함성을 보장한다. 소스애플리케이션과 타겟 애플리케이션의 결합도를 낮추기 위해 등장했다. 카프카 토픽 카프카에서 데이터가 들어가는 공간을 토픽이라고 부른다. 토픽은 여러 개를 생성할 수 있다. 목적에 따라 이름을 명확하게 적어야 유지보수가 편리하다. 데이터베이스 테이블과 파일 시스템의 파일과 유사하다. 카프카 프로듀서가 토픽에 데이터를 넣고, 카프카 컨슈머가 데이터를 가져간다. 하나의 토픽은 여러 개의 파티션으로 구성된다. 파티션 파티션은 0번부터 시작한다. 파티션은 큐와 ..
