そもそもAutoTokenizer.from_pretrained(trust_remote_code=True) のような指定なしに日本語の主要な形態素解析器をトークナイザとして使えるならこんな苦労も無いわけで、、、BertJapaneseTokenizerでsudachipyやjumanppも扱えるよう拡張するプルリクも進行…