# groonga - オープンソースのカラムストア機能付き全文検索エンジン

- English page

### ナビゲーション

- 索引
- 次へ |
- 前へ |
- Groonga v3.1.0ドキュメント »
- 8. リファレンスマニュアル »

# 8.7. Tokenizers

TODO: Write me.

以下は組み込みのトークナイザーのリストです。

- TokenBigram
- TokenBigramSplitSymbol
- TokenBigramSplitSymbolAlpha
- TokenBigramSplitSymbolAlphaDigit
- TokenBigramIgnoreBlank
- TokenBigramIgnoreBlankSplitSymbol
- TokenBigramIgnoreBlankSplitAlpha
- TokenBigramIgnoreBlankSplitAlphaDigit
- TokenDelimit
- TokenDelimitNull
- TokenTrigram
- TokenUnigram

### ナビゲーション

- 索引
- 次へ |
- 前へ |
- Groonga v3.1.0ドキュメント »
- 8. リファレンスマニュアル »