chore: add the ability of lru cache for api v3 to improve the inference speed when exchange model weights

[KevinZhang19870314]

#1037

[RVC-Boss]

@ChasonJiang 来审阅下，没问题就合了

[ChasonJiang]

@KevinZhang19870314 没有没试过，会不会爆显存？看起来似乎没有将weight移到内存。（在tts完之后

[ChasonJiang]

@KevinZhang19870314 没有没试过，会不会爆显存？看起来似乎没有将weight移到内存。（在tts完之后

可以用TTS.set_device()，在合成完之后移到cpu，要用的时候再移到gpu

[KevinZhang19870314]

@KevinZhang19870314 没有没试过，会不会爆显存？看起来似乎没有将weight移到内存。（在tts完之后

可以用TTS.set_device()，在合成完之后移到cpu，要用的时候再移到gpu

@ChasonJiang 你好，我对PyTorch实在不熟悉，按照review的提示，我修改了一版，麻烦有空看一下（或者不对也可以修改一版？）。

另外我这边暂时没有显卡设备，所以也没法测试，只在CPU机器上面测试没问题。

[ChasonJiang]

这样改会不会好一些

def move_to_gpu(tts:TTS， tts_config:TTS_Config):
    tts.set_device(tts_config.device)
    print("Moved TTS models back to GPU for performance.")

[KevinZhang19870314]

没太明白，你的意思是说合并两个方法为一个吗？

def move_to_device(tts, tts_config)

合成完之后移到cpu，要用的时候再移到gpu

按照你之前说的在合成前后是要指定cpu或者gpu的话，按照这个方法签名如何指定？保存到tts_config里面去然后传入吗？

[ChasonJiang]

没太明白，你的意思是说合并两个方法为一个吗？

我的意思是把move_to_gpu()改为我写的那样，这样在设置推理设备的时候就和yaml里的推理设备保持一致了

[KevinZhang19870314]

@ChasonJiang Done.