https://www.inflearn.com/course/%EC%8A%A4%ED%94%84%EB%A7%81-db-1/dashboard
스프링 DB 1편 - 데이터 접근 핵심 원리 - 인프런 | 강의
백엔드 개발에 필요한 DB 데이터 접근 기술을 기초부터 이해하고, 완성할 수 있습니다. 스프링 DB 접근 기술의 원리와 구조를 이해하고, 더 깊이있는 백엔드 개발자로 성장할 수 있습니다., - 강의
www.inflearn.com
Connection Pool
우리는 이전 시간에 Dirver Manager가 사용할 수 있는 JDBC DB Driver를 찾고 이를 통해 데이터베이스 커넥션을 획득했다.
데이터베이스 커넥션을 획득하는 과정은 아래와 같다.
- 애플리케이션 로직은 DB 드라이버를 통해 커넥션을 조회한다.
- DB 드라이버는 DB와 TCP/IP 커넥션을 연결한다. 물론 이 과정에서 3핸드 셰이킹 같은 TCP/IP 연결을 위한 네트워크 동작이 발생한다.
- DB 드라이버는 TCP/IP 커넥션이 연결되면, ID와 PASSWOD와 같은 기타 부가 정보를 DB에 전달한다.
- DB는 ID와 PASSWORD를 통해 내부 인증을 완료하고, DB 내부에 세션을 생성한다.
- DB는 커넥션 생성이 완료되었다는 응답을 보낸다.
- DB 드라이버는 커넥션 객체를 생성해서 클라이언트에 반환한다.
이렇게 매번 커넥션을 새로 만드는 것은 복잡하고 시간이 많이 든다.
DB는 물론 TCP/IP 커넥션을 새로 생성하기 위한 리소스를 매번 사용해야 한다.
고객이 애플리케이션을 사용할 때,
SQL을 실행하는 시간 뿐만 아니라 커넥션을 새로 만드는 시간이 추가되기 때문에 결과적으로 응답 속도에 영향을 준다.
이런 문제를 한번에 해결하는 아이디어가 바로 커넥션을 미리 생성해두고 사용하는 커넥션 풀이라는 방법이다.
예전에 학습한 스레드 풀과 유사한 개념이다. 스레드 풀은 스레드를 미리 생성하고 이를 사용하고 반납하는 형식이었다.
커넥션 풀도 마찬 가지로 커넥션을 관리하며, 미리 커넥션을 생성해 놓고 사용자가 이를 사용하고 반납하는 형식이다.
- 애플리케이션을 시작하는 시점에 커넥션 풀은 필요한 만큼 커넥션을 미리 확보해서 풀에 보관한다.
- 보통 얼마나 보관할 지는 서비스의 특징과 서버 스펙에 다라 다르지만 기본값은 보통 10개다.
- 커넥션 풀에 들어 있는 커넥션은 모두 TCP/IP로 DB와 커넥션이 연결되어 있는 상태이기 때문에 언제든지 즉시 SQL을 DB에 전송할 수 있다.
- 이제 애플리케이션 로직에서 DB 드라이버를 통해서 새로운 커넥션을 획득하는 것이 아니다.
- 커넥션 풀을 통해 이미 생성되어 있는 커넥션을 객체 참조로 가져와서 사용한다.
- 커넥션 풀에 커넥션을 요청하면 커넥션 풀은 자신이 가지고 있는 커넥션 중에 하나를 반환하다.
- 애플리케이션 로직은 커넥션 풀에서 받은 커넥션을 사용해서 SQL을 데이터베이스에 전달하고 그 결과를 받아서 처리한다.
- 커넥션을 모두 사용하고 나면 이제는 커넥션을 종료하는 것이 아니라, 다음에 다시 사용할 수 있도록 해당 커넥션을 그대로 커넥션 풀에 반환하면 된다.
- 여기서 주의할 점은 커넥션을 종료하는 것이 아니라 커넥션이 살아있는 상태로 커넥션 풀에 반환해야 한다는 것이다.
적절한 커넥션 풀 숫자는 서비스의 특징과 애플리케이션 서버 스펙, DB 서버 스펙에 따라 다르기 때문에 성능 테스트를 통해서 정해야 한다.
커넥션 풀은 서버당 최대 커넥션 수를 제한할 수 있다. 따라서 DB에 무한정 연결이 생성되는 것을 막아주어서 DB를 보호할 수 있다.
실무에서는 커넥션풀을 항상 기본으로 사용한다고 한다.
커넥션 풀을 구현하기 보다는 많은 오픈 소스가 있다고 하는데 HikariCP가 표준이라고 한다.
기존에 본인이 스프링 부트와 JPA 및 JDBCTemplate를 가지고 학습을 하면서 Hikari라는 단어를 콘솔에서 굉장히 많이 봤는데 커넥션 풀이라는 것을 처음 알았다. 깊이 있는 공부가 중요하다고 느낄 수 있었다.
스프링부트 2.0부터는 기본 커넥션 풀로 hikariCP를 제공한다. 무조건 hikariCP를 사용하도록 하자.
DataSource
커넥션을 얻는 방법은 앞서 배운 JDBC DriverManager를 사용하거나, 커넥션 풀을 사용하는 등 다양한 방법이 존재한다.
이제 한 가지 상황을 가정해보자.
우리는 현재 DriverManager를 이용해 커넥션을 획득하다가 커넥션 풀을 사용하기로 결정했다.
또한 HikariCP 커넥션 기술을 골랐다. 이런 경우에는 애플리케이션 코드를 변경해야하는 문제가 발생한다.
의존 관계가 DriverManager에서 HikariCP로 변경되기 때문이다. 사용법이 다르기 때문에 코드를 변경해야할 것이다.
이런 문제를 자바에서는 어떻게 해결했을까??? 감이 오겠지만 이번에도 추상화를 통해 문제를 해결했다.
아래 그림을 살펴보자.
- 자바에서는 이런 문제를 해결하기 위해 javax.sql.DataSource라는 인터페이스를 제공한다.
- DataSource는 커넥션을 획득하는 방법을 추상화하는 인터페이스다.
- 이 인터페이스의 핵심 기능은 커넥션 조회다.
public interface DataSource{
Connection getConnection() throws SQLException;
}정리
- 대부분의 커넥션 풀은 DataSource 인터페이스를 구현했다. 따라서 개발자는 특정 커넥션 풀의 코드에 의존하는 것이 아니라 DataSource 인터페이스에만 의존하도록 애플리케이션 로직을 작성하면 된다.
- 커넥션 풀 구현 기술을 변경하려면 구현체를 교체하면 된다.
- DriverManager는 DataSource 인터페이스를 구현한 구현체가 아니다. 이것을 사용하다가 DataSource를 사용하려면 애플리케이션 코드 전체를 수정해야 한다.
- 이런 문제를 해결하기 위해 스프링DriverManger가 아닌 DataSource 인터페이스를 구현한 DriverManagerDataSource라는 구현 클래스를 제공한다.
- 역시 추상화는 신이다.
이제 몇 가지 예제 코드를 통해 남은 이야기를 정리해보자.
기존에 사용한 DriverManager과 DataSource를 구현한 DriverManagerDataSource의 차이를 확인해보자.
@Slf4j
public class ConnectionTest {
@Test
void driverManager() throws SQLException {
Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD); //드라이버 매니저는 계속 생성
Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
log.info("connection={}, class={}", con1, con1.getClass());
log.info("connection={}, class={}", con2, con2.getClass());
}
//DataSource가 적용된 드라이버 매니저
@Test
void dataSourceDriverManager() throws SQLException {
//DriverManagerDataSource - 항상 새로운 커넥션을 획득한다.
//DriverManagerDataSource dataSource = new DriverManagerDataSource();
DataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD); //데이터 소스는 1번 커넥션을 만든다.
useDataSource(dataSource);
}
private void useDataSource(DataSource dataSource) throws SQLException {
Connection con1 = dataSource.getConnection();
Connection con2 = dataSource.getConnection();
log.info("connection={}, class={}", con1, con1.getClass());
log.info("connection={}, class={}", con2, con2.getClass());
}
}기존 DriverManager를 통해서 커넥션을 획득하는 방법과 DataSource를 통해서 커넥션을 획득하는 방법에는 큰 차이가 있다.
- DriverManager는 커넥션을 획득할 때 마다 URL, USERNAME, PASSWORD 같은 파라미터를 계속 전달해야 한다.
- 반면에 DataSource를 사용하는 방식은 처음 객체를 생성할 때만 필요한 파라미터를 남겨두고, 커넥션을 획득할 때는 단순히 dataSource.getConnection()만 호출하면 된다.
- 이는 설정과 사용의 차이다.
설정
DataSource를 만들고 필요한 속성들을 사용해서 URL, USERNAME, PASSWORD 같은 부분을 입력하는 것을 말한다.
이렇게 설정과 관련된 속성들은 한 곳에 있는 것이 향후 변경에 더 유연하게 대처할 수 있다.
사용
설정은 신경쓰지 않고, DataSource의 getConnection()만 호출해서 사용하면 된다.
이 부분에서 필요한 데이터를 DataSource가 만들어지는 시점에 미리 다 넣어두게 되면,
DataSource를 사용하는 곳에서 단순히 getConnection() 메소드만 호출하면 되므로 URL, USERNAME, PASSWORD 같은 속성들에 의존하지 않아도 된다.
그냥 DataSource만 주입받아서 getConnection()을 호출하면 된다.
덕분에 객체를 설정하는 부분과, 사용하는 부분을 좀 더 명확하게 분리할 수 있다.
이번에는 DataSource를 통해 커넥션 풀을 사용하는 코드를 한번 확인해보자.
@Test
void dataSourceConnectionPool() throws SQLException, InterruptedException {
//커넥션 풀링
//DataSource dataSource = new HikariDataSource();
HikariDataSource dataSource = new HikariDataSource();
dataSource.setJdbcUrl(URL); //데이터베이스 URL을 설정
dataSource.setUsername(USERNAME); //유저네임 설정
dataSource.setPassword(PASSWORD); //비밀번호 설정
dataSource.setMaximumPoolSize(10); //커넥션 풀의 최대 커넥션 갯수를 설정해서 최대 풀 수 까지 채운다.
dataSource.setPoolName("MyPOOL"); //풀의 이름을 설정
useDataSource(dataSource);
Thread.sleep(1000);
}커넥션 풀에서 커넥션을 생성하는 작업은 애플리케이션 실행 속도에 영향을 주지 않기 위해 별도의 쓰레드에서 작동한다.
별도의 쓰레드에서 동작하기 때문에 테스트가 먼저 종료된다.
커넥션 풀에 커넥션을 채우는 것은 비용이 많이 들어가 오래 걸리기 때문이다.
Thread.sleep를 통해 대기 시간을 주어야 쓰레드 풀에 커넥션이 생성되는 로그를 확인할 수 있다.
커넥션 풀에서 커넥션을 획득하고 반환을 하지 않아 active = 2, 풀에서 대기중인 idle = 8을 확인할 수 있다.
또한 커넥션 풀의 최대 개수 10개가 모두 채워진 것을 확인할 수 있다.
이제 DataSource를 구현한 커넥션 풀을 통해 커넥션을 가져와서 레포지토리 클래스를 만들고,
실습로직을 수행하는 테스트를 작성하고 동작시켰다.
아래와 같은 로그를 확인할 수 있었다.
커넥션 풀 사용 시 conn0 커넥션이 재사용된 것을 확인할 수 있다.
테스트는 순서대로 실행되기 때문에 커넥션을 사용하고 다시 돌려주는 것을 반복한다. 따라서 conn0만 사용된다.
웹 애플리케이션에 동시에 여러 요청이 들어오면 여러 쓰레드에서 커넥션 풀의 커넥션을 다양하게 가져가는 상황을 확인할 수 있을 것이다.
문득 든 생각인데 여태 application.yml에서 설정한 것들이 이 데이터 소스를 설정하는 값이 아닐까..?라는 생각이 번쩍 들었다.
꿀팁
- JdbcUtils 편의 메서드
- JdbcUtils를 통해 커넥션을 좀 더 편리하게 닫을 수 있다.
이상으로 포스팅을 마칩니다. 감사합니다.
댓글