Index B | C | D | E | G | L | M | P | S | T | U | V B BOS (filipino_tokenizer.tagalog.bpe.MorphAwareBPE attribute) BOUNDARY (in module filipino_tokenizer.tagalog.bpe) C convert_tokens_to_string() (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer method) D decode() (filipino_tokenizer.tagalog.bpe.MorphAwareBPE method) (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) E encode() (filipino_tokenizer.tagalog.bpe.MorphAwareBPE method) (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) EOS (filipino_tokenizer.tagalog.bpe.MorphAwareBPE attribute) G get_vocab() (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer method) L load() (filipino_tokenizer.tagalog.bpe.MorphAwareBPE method) (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) load_pretrained() (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) M model_input_names (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer attribute) MorphAwareBPE (class in filipino_tokenizer.tagalog.bpe) P PAD (filipino_tokenizer.tagalog.bpe.MorphAwareBPE attribute) prewarm() (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) S save() (filipino_tokenizer.tagalog.bpe.MorphAwareBPE method) (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) save_vocabulary() (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer method) segment() (filipino_tokenizer.tagalog.segmenter.TagalogSegmenter method) SPECIALS (filipino_tokenizer.tagalog.bpe.MorphAwareBPE attribute) T TagalogHFTokenizer (class in filipino_tokenizer.tagalog.hf_tokenizer) TagalogSegmenter (class in filipino_tokenizer.tagalog.segmenter) TagalogTokenizer (class in filipino_tokenizer.tagalog.tokenizer) tokenize() (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) train() (filipino_tokenizer.tagalog.bpe.MorphAwareBPE method) (filipino_tokenizer.tagalog.tokenizer.TagalogTokenizer method) U UNK (filipino_tokenizer.tagalog.bpe.MorphAwareBPE attribute) V vocab_files_names (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer attribute) vocab_size (filipino_tokenizer.tagalog.hf_tokenizer.TagalogHFTokenizer property) VOWELS (filipino_tokenizer.tagalog.segmenter.TagalogSegmenter attribute)