06f1fd69a6
3.5 KiB
BARThez
Overview
BARThez モデルは、Moussa Kamal Eddine、Antoine J.-P によって BARThez: a Skilled Pretrained French Sequence-to-Sequence Model で提案されました。ティクシエ、ミカリス・ヴァジルジャンニス、10月23日、 2020年。
論文の要約:
帰納的転移学習は、自己教師あり学習によって可能になり、自然言語処理全体を実行します。 (NLP) 分野は、BERT や BART などのモデルにより、無数の自然言語に新たな最先端技術を確立し、嵐を巻き起こしています。 タスクを理解すること。いくつかの注目すべき例外はありますが、利用可能なモデルと研究のほとんどは、 英語を対象に実施されました。この作品では、フランス語用の最初の BART モデルである BARTez を紹介します。 （我々の知る限りに）。 BARThez は、過去の研究から得た非常に大規模な単一言語フランス語コーパスで事前トレーニングされました BART の摂動スキームに合わせて調整しました。既存の BERT ベースのフランス語モデルとは異なり、 CamemBERT と FlauBERT、BARThez は、エンコーダだけでなく、 そのデコーダは事前トレーニングされています。 FLUE ベンチマークからの識別タスクに加えて、BARThez を新しい評価に基づいて評価します。 この論文とともにリリースする要約データセット、OrangeSum。また、すでに行われている事前トレーニングも継続します。 BARTHez のコーパス上で多言語 BART を事前訓練し、結果として得られるモデル (mBARTHez と呼ぶ) が次のことを示します。 バニラの BARThez を大幅に強化し、CamemBERT や FlauBERT と同等かそれを上回ります。
このモデルは moussakam によって寄稿されました。著者のコードはここにあります。
BARThez の実装は、トークン化を除いて BART と同じです。詳細については、BART ドキュメント を参照してください。 構成クラスとそのパラメータ。 BARThez 固有のトークナイザーについては以下に記載されています。
Resources
- BARThez は、BART と同様の方法でシーケンス間のタスクを微調整できます。以下を確認してください。 examples/pytorch/summarization/。
BarthezTokenizer
autodoc BarthezTokenizer
BarthezTokenizerFast
autodoc BarthezTokenizerFast