HuggingFace使用

发布于 作者:

1. 编码工具

1.1 加载编码工具

加载编码工具，这里使用bert-base-chinese的实现

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained(
    pretrained_model_name_or_path='bert-base-chinese',
    cache_dir=None,
    force_download=False,
)