1、什么是近似匹配
两个句子
java is my favourite programming language, and I also think spark is a very good big data system.
java spark are very related, because scala is spark's programming language and scala is also based on jvm like java.
match query
,搜索java spark
{
"match": {
"content": "java spark"
}
}
match query
,只能搜索到包含java
和spark
的document
,但是不知道java
和spark
是不是离的很近
包含java
或包含spark
,或包含java
和spark
的doc
,都会被返回回来。我们其实并不知道哪个doc
,java
和spark
距离的比较近。如果我们就是希望搜索java spark
,中间不能插入任何其他的字符,那这个时候match去做全文检索,能搞定我们的需求吗?答案是,搞不定。
如果我们要尽量让java
和spark
离的很近的document
优先返回,要给它一个更高的relevance score
,这就涉及到了proximity match
,近似匹配
如果说,要实现两个需求:
1、java spark
,就靠在一起,中间不能插入任何其他字符,就要搜索出来这种doc
2、java spark
,但是要求,java
和spark
两个单词靠的越近,doc
的分数越高,排名越靠前
要实现上述两个需求,用match
做全文检索,是搞不定的,必须得用proximity match
,近似匹配phrase match
,proximity match
:短语匹配,近似匹配
这一讲,要学习的是phrase match
,就是仅仅搜索出java
和spark
靠在一起的那些doc
,比如有个doc
,是java use'd spark
,不行。必须是比如java spark are very good friends
,是可以搜索出来的。phrase match
,就是要去将多个term
作为一个短语,一起去搜索,只有包含这个短语的doc
才会作为结果返回。不像是match
,java spark
,java
的doc
也会返回,spark
的doc
也会返回。
2、match_phrase
GET /forum/_search
{
"query": {
"match": {
"content": "java spark"
}
}
}
单单包含java的doc也返回了,不是我们想要的结果
POST /forum/_update/5
{
"doc": {
"content": "spark is best big data solution based on scala ,an programming language similar to java spark"
}
}
将一个doc的content设置为恰巧包含java spark这个短语match_phrase
语法
GET /forum/_search
{
"query": {
"match_phrase": {
"content": "java spark"
}
}
}
成功了,只有包含java spark
这个短语的doc才返回了,只包含java的doc不会返回
3、term position
hello world, java spark doc1
hi, spark java doc2
hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)
了解什么是分词后的position
GET _analyze
{
"text": "hello world, java spark",
"analyzer": "standard"
}
4、match_phrase的基本原理
索引中的position,match_phrase
hello world, java spark doc1
hi, spark java doc2
hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)
java spark --> match phrase
java spark --> java和spark
java --> doc1(2) doc2(2)
spark --> doc1(3) doc2(1)
要找到每个term
都在的一个共有的那些doc
,就是要求一个doc
,必须包含每个term
,才能拿出来继续计算doc1
—> java
和spark
—> spark position
恰巧比java
大1 —> java
的position
是2,spark
的position
是3,恰好满足条件doc1
符合条件doc2
—> java
和spark
—> java position
是2,spark position
是1,spark position
比java position
小1,而不是大1 —> 光是position
就不满足,那么doc2
不匹配
必须理解这块原理!!!!
因为后面的proximity match
就是原理跟这个一模一样!!!