ElasticSearch 零基础入门（4）: 分词器 Analyzer 和 Normalizers 等功能

1. Character filter：字符过滤，用于移除不需要的字符（比如 html 标签）、字符转换等（比如印度语的数字转换成阿拉伯数字）
2. Tokenizer：断词，将连续的文本字符断开成多个独立的词，并记录每个词开头和结尾的位置
3. Token filter：词过滤，将 Tokenizer 的断词进行规整处理，比如全部转为消息、同义词合并、舍弃 the 等 stop word。过滤不改变 Tokenizer 记录的词的位置

GET my-index-000001/_search
{
  "query": {
    "match": {
      "message": {
        "query": "Quick foxes",
        "analyzer": "stop"      <-- Query时指定 Search Analyzer
      }
    }
  }
}

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "whitespace",     <-- Index Analyzer
        "search_analyzer": "simple"   <-- Search Analyzer
      }
    }
  }
}

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "default": {          <-- 默认的 Index Analyzer
          "type": "simple"
        },
        "default_search": {   <-- 默认的 Search Analyzer
          "type": "whitespace"
        }
      }
    }
  }
}

GET /_analyze
{
  "analyzer" : "standard",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "simple",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "whitespace",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "stop",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "keyword",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "pattern",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

GET /_analyze
{
  "analyzer" : "fingerprint",
  "text" : "那年冬天，祖母死了，父亲的差使也交卸了，正是祸不单行的日子。我从北京到徐州，打算跟着父亲奔丧回家。到徐州见着父亲，看见满院狼藉的东西，又想起祖母，不禁簌簌地流下眼泪。父亲说：“事已如此，不必难过，好在天无绝人之路！"
}

PUT my-index-000001
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer": {    <-- 自定义的 Analyzer
          "type": "custom", 
          "tokenizer": "standard", <-- tokenizer
          "char_filter": [         <-- character  filter
            "html_strip"
          ],
          "filter": [              <-- token filter
            "lowercase",
            "asciifolding"
          ]
        }
      }
    }
  }
}

PUT index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "quote": {
          "type": "mapping",
          "mappings": [
            "« => \"",
            "» => \""
          ]
        }
      },
      "normalizer": {      
        "my_normalizer": {  <-- 定义 normalizer
          "type": "custom",
          "char_filter": ["quote"],
          "filter": ["lowercase", "asciifolding"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "foo": {
        "type": "keyword",
        "normalizer": "my_normalizer"  <-- 引用 normalizer
      }
    }
  }
}

./bin/elasticsearch-plugin -v install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.2/elasticsearch-analysis-ik-7.9.2.zip

./bin/elasticsearch-plugin  list
analysis-ik

GET /_analyze
{
  "analyzer" : "ik_max_word",
  "text" : ["你这是画龙点睛"]
}
GET /_analyze
{
  "analyzer" : "ik_smart",
  "text" : ["你这是画龙点睛"]
}