tokenize

  • 网络符将一个字符串标记化;切分词;令牌化

tokenizetokenize

tokenize

符将一个字符串标记化

...这种技术,例如strtok(),它基于一组字符分隔符将一个字符串标记化(tokenize)(译注:即将str分解为由字符串delimiterSet中的字符 …

切分词

词干切分,word stem... ... ) word entry segmentation of Chinese 词条切分 ) tokenize 切分词 ) Word segmentation 语词切分 ...

令牌化

DSPAM中文站 ... token : 令牌 tokenize令牌化 tokenizer : 令牌解析器 ...

变造

2. 变造 (Tokenize)。在保持资料格式的情况下对资料进行处理,产生另外一组不同的资料;仅适用於数字或英文,亦可反解回 …

热词推荐