きょうのよしなしごと
そもそもAutoTokenizer.from_pretrained(trust_remote_code=True) のような指定なしに日本語の主要な形態素解析器をトークナイザとして使えるならこんな苦労も無いわけで、、、BertJapaneseTokenizerでsudachipyやjumanppも扱えるよう拡張するプルリクも進行中です!https://t.co/3KGPYimFCA
— hiroshi matsuda (@hmtd223) 2022年9月28日
そもそもAutoTokenizer.from_pretrained(trust_remote_code=True) のような指定なしに日本語の主要な形態素解析器をトークナイザとして使えるならこんな苦労も無いわけで、、、BertJapaneseTokenizerでsudachipyやjumanppも扱えるよう拡張するプルリクも進行中です!https://t.co/3KGPYimFCA
— hiroshi matsuda (@hmtd223) 2022年9月28日