什么是全文搜索引擎？常用的搜索网站，如百度、谷歌。数据分类结构化数据：指格式固定或长度有限的数据，如数据库、元数据等。对于结构化数据，我们一般可以通过关系型数据库（mysql、oracle等）的表进行存储和查找，而我们还可以建立索引。通过B树等数据结构快速搜索数据。非结构化数据：全文数据，是指长度不定或格式不固定的数据，如email、word文档等。对于非结构化数据，即全文数据的检索主要有两种方式：顺序扫描法和全文检索法。顺序扫描从字面上理解就是我们可以理解它的通用搜索方式，就是通过顺序扫描的方式来搜索特定的关键词。例如，让你找出“科比”这个名字出现在一篇篮球新闻文章中的哪些段落。那你肯定需要把文章从头到尾看完，然后把出现关键词的地方标出来。这种方法无疑是效率最低的。如果文章很长，有几万字，你看完这条新闻要多久才能找到关键词“科比”。全文搜索对非结构化数据的顺序扫描速度很慢。我们可以优化它吗？想办法让我们的非结构化数据有一定的结构还不够吗？将非结构化数据中的部分信息提取出来，重新组织起来，使其具有一定的结构，然后对具有一定结构的数据进行搜索，从而达到比较快速搜索的目的。这种方法构成了全文搜索的基本思想。这部分信息是从非结构化数据中提取出来，然后重新组织的，我们称之为索引。我们以NBA中国网站为例。假设我们都是篮球迷，我们都是科米，那么如何快速找到科比的消息呢？全文搜索的方式是提取所有新闻中的所有关键词，比如“科比”、“詹姆斯”、“总冠军”、“MVP”等关键词，然后建立Index，通过索引，我们可以找到关键字对应的新闻。什么是全文搜索引擎根据百度百科的定义，全文搜索引擎是目前广泛使用的主流搜索引擎。其工作原理是计算机索引程序通过扫描文章中的每个词，为每个词建立索引，标明该词在文章中的编号和位置。当用户查询时，搜索程序根据预先建立的索引进行搜索，并将搜索结果反馈给用户。为什么搜索引擎LuceneSolrElastic搜索不用mysql做全文搜索前言可能有人会问，为什么一定要用搜索引擎呢？我们的数据不能全部放在数据库里吗？而且Mysql、Oracle、SQLServer等数据库也可以提供查询和搜索功能。直接通过数据库查询不就行了吗？确实，我们的大部分查询功能都可以通过数据库查询得到。如果查询效率低下，我们还可以通过新建数据库索引、优化SQL等方式来提高效率，甚至可以通过引入redis、memcache等缓存来加快数据返回的速度。如果数据量较大，还可以分库分表分担查询压力。那么我们为什么需要全文搜索引擎呢？从几个角度来看，数据类型的全文索引搜索非常支持非结构化数据的搜索，可以更好、更快速地搜索大量存在的任意词的非结构化文本。比如谷歌、百度搜索网站，都是根据网页中的关键词生成索引。当我们在搜索时输入关键字，它们会返回所有与该关键字匹配的网页；还有常见的项目申请日志搜索等等。对于这些非结构化的数据文本，关系数据库搜索并没有得到很好的支持。搜索性能如果用mysql来搜索，比如有一个player表，这个表有一个user_name字段，我们要找出user_name以james开头的球员，以及包含james的球员。我们通常做什么？数据量达到千万级别怎么办？select*fromplayerwhereuser_namelike'james%';select*fromplayerwhereuser_namelike'%james%';灵活搜索如果我们想找出名字叫james的球员，但是用户输入的是james，我们想提示一些关键词，如果我们想找关键词为“champion”的文章，但是用户输入的是“champion”，我们也希望一探究竟。传统数据库的索引维护普遍很差，全文搜索很差，因为数据库中一般没有人使用长文本字段，因为全文搜索需要扫描整个表，如果数据量很大，甚至优化SQL的语法也收效甚微。即使建立了索引，维护起来也很麻烦，插入和更新操作都会重建索引。全文索引引擎适合场景搜索的数据对象是大量的非结构化文本数据。文本数据量达到几十万、百万级别，甚至更多。支持大量基于文本的交互式查询。需要非常灵活的全文搜索查询。对于安全交易，非文本数据操作的需求相对较少。常用搜索引擎介绍：常用搜索引擎、Lucene、Solr、ElasticsearchLuceneLucene是一个Java全文搜索引擎，完全用Java编写。Lucene不是一个完整的应用程序，而是一个代码库和API，可以方便地用于为应用程序添加搜索功能。通过简单的API提供强大的功能可扩展的高性能索引强大、准确和高效的搜索算法跨平台解决方案Apache软件基金会Apache社区的开源软件项目由Apache软件基金会提供支持。但Lucene只是一个框架。要充分利用它的功能，需要使用java，在程序中集成Lucene。要理解它的工作原理需要大量的学习和理解，熟练使用Lucene确实是非常复杂的。SolrSolr是一个基于LuceneJava库构建的开源搜索平台。它以用户友好的方式提供ApacheLucene的搜索功能。它是一款成熟的产品，拥有强大而广泛的用户社区。它提供分布式索引、复制、负载平衡查询以及自动故障转移和恢复。如果部署和管理得当，它可以成为一个高度可靠、可扩展和容错的搜索引擎。Netflix、eBay、Instagram和亚马逊等许多互联网巨头都使用Solr，因为它能够索引和搜索多个站点。强大的全文搜索高亮分面搜索实时索引动态集群数据库集成NoSQL功能和丰富的文档处理ElasticsearchElasticsearch是一个开源的，基于ApacheLucene库的Restful搜索引擎。年推出。它提供了一个分布式的、具有多租户能力的全文搜索引擎，带有HTTP网络接口(REST)和无模式的JSON文档。Elasticsearch的官方客户端库支持Java、Groovy、PHP、Ruby、Perl、Python、.NET和Javascript。主要功能分布式搜索数据分析分组聚合应用场景维基百科StackOverflflowGitHub电商网站日志数据分析商品价格监测网站BI系统站内搜索篮球论坛参考个人博客：cyz
