env: n_ctx must be an int

skynet/env.py

@@ -29,7 +29,7 @@ def tobool(val: str | None):
 # Some formats are auto-detected: https://github.com/abetlen/llama-cpp-python/blob/c50d3300d2a09c98765be7f2c05b7e4fd0b4232e/llama_cpp/llama_chat_format.py#L724
 model_chat_format = os.environ.get('MODEL_CHAT_FORMAT')
 llama_path = os.environ.get('LLAMA_PATH')
-llama_n_ctx = os.environ.get('LLAMA_N_CTX', 8192)
+llama_n_ctx = int(os.environ.get('LLAMA_N_CTX', 8192))
 llama_n_gpu_layers = int(os.environ.get('LLAMA_N_GPU_LAYERS', -1 if is_mac else 40))
 llama_n_batch = int(os.environ.get('LLAMA_N_BATCH', 512))