BPE(Byte Pair Encoding)アルゴリズムの仕組みとPythonプログラムの確認 投稿日: 2023-08-122023-08-12 投稿者: lib-arts Transformerに基づくLLMの学習にあたっては多くの文書を用いる一方で、単語をそのまま取り扱うとEmbedding処理のパラメータ数が増大します。当記事ではこの解決にあたって用いられる手法の$1$つであるBPE(… 全文を読む