博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ES学习记录10.3——ES分析器4(字符过滤器)
阅读量:5962 次
发布时间:2019-06-19

本文共 3430 字,大约阅读时间需要 11 分钟。

hot3.png

字符过滤器(Character filters)用于在将字符流传递给标记生成器Tokenizer之前对其进行预处理,它负责将最原始的文本作为字符流进行接受,可以对通过添加、移除或改变字符的方式改变流。比如一个字符过滤器可以用来转换印度-阿拉伯数字٠‎١٢٣٤٥٦٧٨‎٩变成等价的阿拉伯语数字0123456789,或者从流中删除<b>这样的HTML元素。ES有很多内置的字符过滤器,可以用于自定义的分析器中,主要有:

HTML Strip Character Filter:html_strip字符过滤器可以将流中的类似于<b>这样的HTML标签元素移除,并对HTML中类似于&这样的实体进行解码;

Mapping Character Filter:mapping字符过滤器(映射字符过滤器)使用指定的替换字符替换指定字符串的任何出现的内容;
Pattern Replace Character Filter:pattern_replace字符过滤器将与正则表达式匹配的任何字符替换为指定的替换内容;
1. html标签字符过滤器(HTML Strip Char Filter)
 html_strip字符过滤器从文本中删除HTML元素,并用其解码值替换HTML实体(如用&替换&,在HTML语言中&就是表示&),如:

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'

{
  "tokenizer":      "keyword",
  "char_filter":  [ "html_strip" ],
  "text": "<p>I'm so <b>happy</b>!</p>"
}
'
1
2
3
4
5
6
7
返回的结果为[\nI'm so happy!\n],其中将HTML中的<p>转换为\n,将'转换为'。html_strip字符过滤器是可配置的,接受的参数有:

escaped_tags:表示一个包含HTML标签元素的列表(删除的HTML元素时,就将原始文本中出现的元素和这个列表中元素对比,如果是HTML元素且在该参数指定的列表中出现则保留,否则就移除);

下面是栗子:

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "char_filter": ["my_char_filter"]
        }
      },
      "char_filter": {
        "my_char_filter": {
          "type": "html_strip",
          // 配置不移除的HTML标签
          "escaped_tags": ["b"]
        }
      }
    }
  }
}
'
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
然后用上述的分析器my_analyzer分析文本<p>I'm so <b>happy</b>!</p>得到的结果为:[\nI'm so <b>happy</b>!\n]。

2. 映射字符过滤器(Mapping Char Filter)

 mapping字符过滤器接受key-value这样键-值对形式的映射,只要映射字符过滤器遇到映射表中key就将它替换成相应的value。在匹配key时是采用贪婪匹配,在给定点处的最长模式匹配获胜,替换的字符串允许为空字符串(即key对应的value值可以为空字符串)。mapping字符过滤器是可配置的,可接受的参数有:

mappings:是一个映射的数组,每个元素都是key => value键值对形式;

mappings_path:表示一个包含上述mappings中key => value内容的UTF-8编码的文件路径(可以是绝对路径或相对ES配置文件config的路径,注意如果是这中文件方式,那么一行只能有一个key => value键值对);
【注】上述两个参数必须有且仅有一个,不像别的参数可有可无。

下面是栗子:

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "char_filter": [
            "my_char_filter"
          ]
        }
      },
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": [
            "٠ => 0",
            "١ => 1",
            "٢ => 2",
            "٣ => 3",
            "٤ => 4",
            "٥ => 5",
            "٦ => 6",
            "٧ => 7",
            "٨ => 8",
            "٩ => 9"
          ]
        }
      }
    }
  }
}
'
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
用上述的分析器my_analyzer分析文本My license plate is ٢٥٠١٥,最后得到的结果为[My license plate is 25015]。

3. 模式替换字符过滤器(Pattern Replace Char Filter)

 pattern_replace字符过滤器使用正则表达式去匹配原始文本中的字符,然后用指定的字符去替换匹配上的字符。替换字符串可以引用正则表达式中的捕获内容。pattern_replace字符过滤器是可配置的,可接受的参数有:

pattern:一个Java正则表达式,必选参数;

replacement:用于替换在原始文本中匹配上的内容,可以引用匹配的内容(使用$1..$9的形式引用正则匹配上的第1处…第9处内容);
flags:java正则表达式中的标志,标志应该是管道分开的,比如CASE_INSENSITIVE|COMMENTS;
下面是栗子:

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "standard",
          "char_filter": [
            "my_char_filter"
          ]
        }
      },
      "char_filter": {
        "my_char_filter": {
          "type": "pattern_replace",
          "pattern": "(\\d+)-(?=\\d)",
          "replacement": "$1_"
        }
      }
    }
  }
}
'
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
上述配置的正则表示是(\\d+)-(?=\\d),将匹配的内容替换为正则表达式中匹配的第一处内容,那该分析器分析文本My credit card is 123-456-789得到的结果为[My, credit, card, is, 123_456_789]。

注:使用更改原始文本长度的替换字符串将用于搜索目的,但会导致突出显示不正确,详细参见Second example;

--------------------- 
作者:jacksonary 
来源:CSDN 
原文:https://blog.csdn.net/jacksonary/article/details/83902335 
版权声明:本文为博主原创文章,转载请附上博文链接!

转载于:https://my.oschina.net/weiweiblog/blog/3018420

你可能感兴趣的文章
安装配置discuz
查看>>
线程互互斥锁
查看>>
KVM虚拟机&openVSwitch杂记(1)
查看>>
win7下ActiveX注册错误0x80040200解决参考
查看>>
《.NET应用架构设计:原则、模式与实践》新书博客--试读-1.1-正确认识软件架构...
查看>>
2013 Linux领域年终盘点
查看>>
linux学习之查看程序端口占用情况
查看>>
相逢在栀枝花开的季节
查看>>
linux下git自动补全命令
查看>>
Ubuntu14.04LTS更新源
查看>>
Linux报“Unknown HZ value! (288) Assume 100”错误
查看>>
mysql多实例实例化数据库
查看>>
我的友情链接
查看>>
golang xml和json的解析与生成
查看>>
javascript 操作DOM元素样式
查看>>
Android 内存管理 &Memory Leak & OOM 分析
查看>>
【查找算法】基于存储的查找算法(哈希查找)
查看>>
JavaWeb网上图书商城完整项目--day02-10.提交注册表单功能之页面实现
查看>>
做程序开发的你如果经常用Redis,这些问题肯定会遇到
查看>>
006android初级篇之jni数据类型映射
查看>>