transformers Jupyter Notebooks

Jupyter Notebooks

我们包括三个Jupyter Notebooks，可以用来检查Pythorch模型的预测是否与原始TensorFlow模型的预测相同。

第一个Notebooks(Comparing-TF-and-PT-models.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models.ipynb)提取了TensorFlow和PyTorch模型每一层上完整序列的隐藏状态，并计算了它们之间的标准差。在给定的例子中，我们得到模型的各种隐藏状态的标准差为1.5e-7到9e-7。

第二个Notebooks(Comparing-TF-and-PT-models-SQuAD.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-SQuAD.ipynb)比较了TensorFlow和PyTorch模型计算的BertForQuestionAnswering微调层相同初始化的损耗，并计算了它们之间的标准偏差。在给定的例子中，我们得到模型之间的标准偏差为2.5e-7。

第三个Notebooks(Comparing-TF-and-PT-models-MLM-NSP.ipynb:https://github.com/huggingface/transformers/blob/master/notebooks/Comparing-TF-and-PT-models-MLM-NSP.ipynb) 比较了TensorFlow和PyTorch模型计算的预测，并使用预训练的掩码语言模型对掩码标记语言进行建模。

请按照Notebooks中的说明运行和修改它们。