# groonga - オープンソースのカラムストア機能付き全文検索エンジン

- English

# 7.3.63. `table_tokenize`

## 7.3.63.1. 概要

`table_tokenize` コマンドは指定したテーブルのトークナイザーでテキストをトークナイズします。

## 7.3.63.2. 構文

このコマンドにはたくさんの引数があります。

`table` と `string` は必須の引数です。残りは省略できます:

    table_tokenize table
                   string
                   [flags=NONE]
                   [mode=GET]
                   [index_column=null]

## 7.3.63.3. 使い方

以下は簡単な使用例です。

実行例:

    plugin_register token_filters/stop_word
    # [[0,0.0,0.0],true]
    table_create Terms TABLE_PAT_KEY ShortText \
      --default_tokenizer TokenBigram \
      --normalizer NormalizerAuto \
      --token_filters TokenFilterStopWord
    # [[0,0.0,0.0],true]
    column_create Terms is_stop_word COLUMN_SCALAR Bool
    # [[0,0.0,0.0],true]
    load --table Terms
    [
    {"_key": "and", "is_stop_word": true}
    ]
    # [[0,0.0,0.0],1]
    table_tokenize Terms "Hello and Good-bye" --mode GET
    # [
    #  [
    #    0,
    #    0.0,
    #    0.0
    #  ],
    #  [
    #    {
    #      "value": "hello",
    #      "position": 0
    #    },
    #    {
    #      "value": "good",
    #      "position": 2
    #    },
    #    {
    #      "value": "-",
    #      "position": 3
    #    },
    #    {
    #      "value": "bye",
    #      "position": 4
    #    }
    #  ]
    # ]

`Terms` テーブルには、 `TokenBigram` トークナイザーと、 `NormalizerAuto` ノーマライザーと、 `TokenFilterStopWord` トークンフィルターがセットされています。 この例は `TokenBigram` トークナイザーで `"Hello and Good-bye"` をトークナイズしたトークンを返します。トークンは、 `NormalizerAuto` ノーマライザーで正規化されています。 `and` トークンは、 `TokenFilterStopWord` トークンフィルターで除去されています。

## 7.3.63.4. 引数

このセクションではすべての引数について説明します。引数はカテゴリわけしています。

### 7.3.63.4.1. 必須引数

必須の引数は2つです。 `table` と `string` です。

#### 7.3.63.4.1.1. `table`

語彙表テーブルを指定します。 `table_tokenize` コマンドは、語彙表テーブルにセットされたトークナイザーとノーマライザーとトークンフィルターを使います。

#### 7.3.63.4.1.2. `string`

トークナイズしたい文字列を指定します。

詳細は、 tokenize の string オプションを参照してください。

### 7.3.63.4.2. 省略可能引数

いくつか省略可能な引数があります。

#### 7.3.63.4.2.1. `flags`

トークナイズ処理をカスタマイズするオプションを指定します。「 `|` 」で区切って複数のオプションを指定することができます。

デフォルト値は `NONE` です。

詳細は、 tokenize の flags オプションを参照してください。

#### 7.3.63.4.2.2. `mode`

トークナイズモードを指定します。

デフォルト値は `GET` です。

詳細は、 tokenize の mode オプションを参照してください。

#### 7.3.63.4.2.3. `index_column`

インデックスカラム名を指定します。

戻り値にインデックスの `estimated_size` が含まれます。

`estimated_size` はトークンの概算の出現頻度を調べるのに便利です。

## 7.3.63.5. 戻り値

`table_tokenize` コマンドはトークナイズしたトークンを返します。

詳細は、 tokenize の 戻り値 オプションを参照してください。

## 7.3.63.6. 参考

- トークナイザー
- tokenize