Question

我试图对我的GPT-2模式进行微调,以制作歌曲剧本,我手上有两部歌曲。然而,我对如何调整GPT-2模式感到困惑,该模式没有标准投入和产出格式。原因是,我希望我对GPT-2进行精细的调整,以利摩风格产生任何东西,我不知道,鉴于手头的歌曲数据集,预期产出是什么。

在网上查找相关文章后,我发现在

outputs = model(input_tensor, labels=input_tensor)
loss = outputs[0]
loss.backward()

From my understanding, the first parameter is the input text of the model, while the second parameter labels is usually the expected output of the model. If we just set it to be the same, are we actually training a repeater that always repeats the input text? If so, how could we expect that our fine tuned model can speak everything in a lyric style?

(我的审理和错误期间的其他问题): 理论上,我认为,我应将每一首歌分成两半。然后,我把头一半用于对我的GPT-2模式的投入,并确定预期产出为后半期。但是,经过一些实验,我发现我精细的GPT-2在下游任务中保持像“the”这样的重复。我对我在这里失败的原因感到奇怪。

Answer 1

GPT-2旨在根据前线的顺序预测下线。例如,鉴于“我爱”这一短语,它可能预测“你”。

<>1. 为什么使用<条码>输入-tensor 用于输入和Labels

The confusion often arises when seeing input_tensor used for both input and labels. This is due to the Masking mechanism inherent in GPT-2.

与BERT不同的是,当具体症状被掩盖,模型预测这些症状时,GPT-2的面罩是控制每个预测步骤中发现的症状。模型预测“我爱音乐”这样的顺序:

"I" -> "love"
"I love" -> "music"

This is achieved through internal masking. The model doesn t see future tokens, ensuring genuine next-token prediction based on the given context. So, using input_tensor for both input and labels doesn t make the model a mere repeater. It s training the model to predict subsequent tokens based on prior context.

2. Splitting Songs inhal

人工分立的歌曲体质是一种理想。 GPT-2的设计必然会按顺序预测每个职位的下一个标线。唱歌可能偏袒后几部分的模式,可能限制其学习。

3. A Better Approach

考虑采用描述性症状:

制作你的数据集时,应说明歌曲的风格或主题,随后是相应的课程。例如:

投入:A melancholic ballad about loss care in Winter >
Output: "Snowflakes fall, my heart calls, for the love lost in winter s thrall..."


这种办法可以更有效地指导该模式在理想方式中生成摩擦。

友情链接