카프카란? 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼으로, 대용량의 실시간 데이터 스트림을 처리하기 위해 설계되었다. 카프카는 대량의 데이터를 안정적이고 빠르게 처리할 수 있으며, 대규모 분산 시스템에서 확장성과 내결함성을 보장한다. 소스애플리케이션과 타겟 애플리케이션의 결합도를 낮추기 위해 등장했다. 카프카 토픽 카프카에서 데이터가 들어가는 공간을 토픽이라고 부른다. 토픽은 여러 개를 생성할 수 있다. 목적에 따라 이름을 명확하게 적어야 유지보수가 편리하다. 데이터베이스 테이블과 파일 시스템의 파일과 유사하다. 카프카 프로듀서가 토픽에 데이터를 넣고, 카프카 컨슈머가 데이터를 가져간다. 하나의 토픽은 여러 개의 파티션으로 구성된다. 파티션 파티션은 0번부터 시작한다. 파티션은 큐와 ..
Chapter 2. TCP/IP의 데이터를 전기 신호로 만들어 보낸다. 이번장에서는 OS에 내장된 네트워크 제어용 소프트웨어(프로토콜 스택)와 네트워크용 하드웨어(LAN 어댑터)가 브라우저에서 받은 메시지를 서버에 송출하는 동작을 탐험한다. 01. 소켓을 작성한다. 1. 프로토콜 스택의 내부 구성 애플리케이션의 아랫부분에는 Socket 라이브러리가 있으며, 그 안에는 리졸버가 내장되어 있다. 리졸버가 DNS 서버에 조회하는 동작을 실행한다. OS의 내부에는 프로토콜 스택이 있다. 프로토콜의 스택 윗부분에는 TCP라는 프로토콜을 사용하여 데이터 송,수신을 담당하는 부분과 UDP라는 프로토콜을 사용하여 데이터 송,수신을 담당하는 부분이 있다. 이 둘이 애플리케이션에서 보낸 의뢰를 받아 송,수신 동작을 실행한..
2023. 02.05 13:00 복습 TCP TCP(Transmission Control Protocol)는 트랜스포트 레이어의 프로토콜이다. 핸드셰이크를 먼저 진행하므로 연결지향형이며 end 호스트 간 논리적인 연결을 가지게 한다. (1대 1, 점대점) 신뢰성 있으며 순서에 맞춰 메시지를 전달한다. 기본적인 동작 방식은 파이프라이닝이다. TCP 연결은 full-duplex 서비스, 즉 양방향 서비스를 제공한다. TCP 성능저하의 원인은 주로 혼잡 제어다. Three-way-handshake 또한 TCP의 연결 설정 절차는 흔히 "세 방향 핸드 셰이크" (three-way-handshake)라 부른다. TCP 세그먼트 헤더에서 가장 중요한 필드 두 가지는 순서번호 필드와 확인 응답 번호 필드이다. 즉 s..
2023. 02.04 10:00 정리 Transport Layer 트랜스포트 계층 프로토콜은 서로 다른 호스트에서 동작하는 애플리케이션 프로세스들 간의 논리적 통신을 제공한다. 트랜스포트 계층 프로토콜은 네트워크 라우터가 아닌 종단 시스템에서 구현된다. 송식 측의 트랜스포트 계층은 송신 애플리케이션 프로세스로부터 수신한 메시지를, 인터넷 용어로는 트랜스포트 계층 세그먼트인 트랜스포트 계층 패킷으로 변환한다. TCP와 UDP UDP는 애플리케이션에게 비신뢰적이고 비연결형인 서비스를 제공한다. 에러 복구는 애플리케이션 계층에서 이뤄진다. TCP는 애플리케이션에게 신뢰적이고 연결지향형 서비스를 제공한다. 다중화와 역다중화 트랜스포트 계층 세그먼트의 데이터를 올바른 소켓으로 전달하는 작업을 역다중화라고한다. 출..
