[Torchserve] torchserve Backend worker did not respond in given time

[Error message]

- Backend response time : 120000

- Backend worker did not respond in given time

 

torchserve에서 API를 request 했을 때

handle 함수를 실행하는데, 

이때 handle 함수를 실행해서 return 하는 시간은 

기본적으로 120초(2분)으로 설정되어있다. 

(default config 값: default_response_timeout=120)

 

일반적인 추론의 기능에서는 문제가 없지만,

재색인을 한다는 등의 running time이 요구되는 기능을 추가했을 경우

이 timeout 시간에 걸려서 중간에 멈출수 있으니,

 

config에서 parameter 값을 수정해야한다.

 

config.properties에 아래 추가해서 해결

default_response_timeout = 9999

 

<최종 config.properties 파일 예시>

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082

grpc_inference_port=8871
grpc_management_port=8872

default_response_timeout = 999999