changi1122

문제 배경

OpenAI API를 이용해 GPT-5 모델로 회고 내용을 요약하고, 핵심 요소를 뽑아주는 기능을 제공하였습니다.

그런데 회고 분석에 사용되는 OpenAI API는 분당 처리 토큰 제한이 존재하였습니다. 이로 인해 1회 분석에 4000 토큰 이상이 소모되는 사용 패턴에 따라 제한을 많이 받을 것으로 판단하였습니다. 실제 개발 과정에서도 토큰 사용량 제한에 걸리기도 하였습니다.

개선 방법

기존에는 별도의 제한을 두지 않고 POST 요청을 보냈으나, 분당 3만 토큰 이상 사용하면 요청이 실패하였습니다. 따라서 토큰 버킷 알고리즘을 구현한 Bucket4j를 통해 분당 요청을 5회로 제한하였습니다.

5회 제한을 초과하는 요청은 Redis의 List 자료형을 큐처럼 사용하면서, 제한을 넘어서는 요청을 저장하였습니다. 또, @Scheduled 어노테이션을 이용해 5초마다 큐에 쌓인 요청을 꺼내 처리하도록 구현하였습니다.

이와 별개로 사용자가 많아졌을 때를 가정하여, 요청 처리량을 늘리기 위해 멀티 계정 구조를 적용하였습니다. 복수 개의 API 키를 환경변수로 받아, 각각 토큰 버킷을 따로 두면서 어느 API 키 사용량이 초과되었을 때 다른 API 키를 사용하도록 하였습니다.

관련 블로그 게시글