06f1fd69a6
4.1 KiB
Blenderbot Small
[BlenderbotSmallModel] と
[BlenderbotSmallForConditionalGeneration] はチェックポイントと組み合わせてのみ使用されます
facebook/blenderbot-90M。より大規模な Blenderbot チェックポイントは、
代わりに [BlenderbotModel] とともに使用してください。
[BlenderbotForConditionalGeneration]
Overview
Blender チャットボット モデルは、Recipes for building an open-domain chatbot Stephen Roller、Emily Dinan、Naman Goyal、Da Ju、Mary Williamson、yinghan Liu、で提案されました。 ジン・シュー、マイル・オット、カート・シャスター、エリック・M・スミス、Y-ラン・ブーロー、ジェイソン・ウェストン、2020年4月30日。
論文の要旨は次のとおりです。
オープンドメインのチャットボットの構築は、機械学習研究にとって難しい分野です。これまでの研究では次のことが示されていますが、 ニューラル モデルをパラメーターの数とトレーニング対象のデータのサイズでスケーリングすると、結果が向上します。 高性能のチャットボットには他の要素も重要であることを示します。良い会話には多くのことが必要です 会話の専門家がシームレスに融合するスキル: 魅力的な話のポイントを提供し、話を聞く 一貫した態度を維持しながら、知識、共感、個性を適切に表現する ペルソナ。適切なトレーニング データと選択が与えられた場合、大規模モデルがこれらのスキルを学習できることを示します。 世代戦略。 90M、2.7B、9.4B パラメーター モデルを使用してこれらのレシピのバリアントを構築し、モデルを作成します。 コードは公開されています。人間による評価では、当社の最良のモデルが既存のアプローチよりも優れていることがマルチターンで示されています 魅力と人間性の測定という観点からの対話。次に、分析によってこの作業の限界について説明します。 弊社機種の故障事例
チップ：
- Blenderbot Small は絶対位置埋め込みを備えたモデルなので、通常は入力を右側にパディングすることをお勧めします。 左。
このモデルは、patrickvonplaten によって提供されました。著者のコードは次のとおりです ここ をご覧ください。
Documentation resources
BlenderbotSmallConfig
autodoc BlenderbotSmallConfig
BlenderbotSmallTokenizer
autodoc BlenderbotSmallTokenizer - get_special_tokens_mask - save_vocabulary
BlenderbotSmallTokenizerFast
autodoc BlenderbotSmallTokenizerFast
BlenderbotSmallModel
autodoc BlenderbotSmallModel - forward
BlenderbotSmallForConditionalGeneration
autodoc BlenderbotSmallForConditionalGeneration - forward
BlenderbotSmallForCausalLM
autodoc BlenderbotSmallForCausalLM - forward