返回

深度学习-微调ULMFit时如何调整输入和输出?

发布时间:2022-04-08 16:36:15 493
# visual-studio-code# phpstorm

我正在寻找关于ULMFit(通用语言模型微调)的教程,我对快速人工智能是新手。
我知道如果你想微调一个模型,你需要调整输入和输出。
例如:
1-您需要根据词汇表中的数字标记更改输入和输出的大小
2-您需要更改词汇表(添加仅存在于目标数据中的标记,删除仅存在于源数据中的标记,保留同时存在于源和目标数据中的标记)
在我看到的教程中,他们做到了这一点

learn = language_model_learner(data_lm,AWD_LSTM, pretrained = True, drop_mult=0.3)
learn.fit_one_cycle(4,1e-2,moms=(0.8,0.7))

此代码不调整输入和输出。
微调时调整输入和输出的步骤在哪里?
还有,这是什么pretrained我该怎么办?有些教程使用它,有些则不使用

特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像