role play 下 VRAM使用不斷的增加 #9
Description
模型加載大概占用5G，來回的對話幾次後，就跳到6G，增加一次對話大概增加300MB記憶體，請問有辦法克服這個問題嗎?
==============================
python realtime_chat.py --role_name 三三
-----PERFORM NORM HEAD
user:你好
/home/allen/miniconda3/envs/index/lib/python3.10/site-packages/transformers/generation/utils.py:1417: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy to control generation and will be removed soon, in a future version. Please use a generation configuration file (see https://huggingface.co/docs/transformers/main_classes/text_generation )
warnings.warn(
三三:你好，我是三三，请问有什么我可以帮助您的吗？
user:介紹一下B站
三三:B站是中国最大的在线视频平台之一，提供丰富的动画、游戏、音乐、舞蹈等视频内容，以及直播、互动社区等功能。同时，B站也是一个多元化的社区，吸引了大量的年轻用户。