Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

咨询:训练成本如何降低 #41

Open
BayMaxAC opened this issue Oct 10, 2023 · 2 comments
Open

咨询:训练成本如何降低 #41

BayMaxAC opened this issue Oct 10, 2023 · 2 comments

Comments

@BayMaxAC
Copy link

从预训练模型到微调的成本并不高,几个小时。但是在仿真数据集的训练一次,起码要耗时4天。
您在设计实验的时候有没有考虑一些降低实验成本的方法?
我在您的提问回答中看到,没有尝试直接在KITTI上进行训练。所以想了解下您是否尝试去降低训练成本,毕竟小一周才能看一次的话,实验很难推进下去。
也许是分割了数据集中的一小部分,作为一个基准,最后全部跑一次。如果是这样,恳请您能详细说下划分的方式和基准的参数。
也许是先依照不到200K的迭代次数,作为一个基准。如果是这样,也想请您详细述说。
这些都是我的一些猜测,因为我不太敢想想八卡服务器或者是好几台服务器混合做实验(贫穷限制了想象)。

@gangweiX
Copy link
Owner

不需要八卡,两个3090卡就能训练的,训练一次3天左右吧

@BayMaxAC
Copy link
Author

是的大神,我现在就是不到四天才能跑完一次。
但是做实验的角度话,感觉还是很久。大神你是这样三四天看一次结果这样写完这个论文的么?
平时做实验不需要频繁看结果然后调整创新点么?(无助.png)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants