# groonga - オープンソースのカラムストア機能付き全文検索エンジン

- English page

# 8.7. Tokenizers

TODO: Write me.

以下は組み込みのトークナイザーのリストです。

- TokenBigram
- TokenBigramSplitSymbol
- TokenBigramSplitSymbolAlpha
- TokenBigramSplitSymbolAlphaDigit
- TokenBigramIgnoreBlank
- TokenBigramIgnoreBlankSplitSymbol
- TokenBigramIgnoreBlankSplitAlpha
- TokenBigramIgnoreBlankSplitAlphaDigit
- TokenDelimit
- TokenDelimitNull
- TokenTrigram
- TokenUnigram