Hbase的二级索引解决方案

概述 在 Hbase 中,表的 RowKey 按照字典排序, Region 按照 RowKey 设置 split point 进行 shard， 通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。 然而单一的通过 RowKey 检索数据的方式,不再满足更多的需求，查询成为 Hbase 的瓶颈，人 们更加希望像 Sql 一样快速检索数据，可是，Hbase 之前定位的是大表的存储，要进行这样 的查询，往往是要通过类似 Hive、Pig 等系统进行全表的 MapReduce 计算，这种方式既浪费 了机器的计算资源，又因高延迟使得应用黯然失色。于是，针对 HBase Secondary Indexing 的方案出现了。 Solr Solr 是一个独立的企业级搜索应用服务器，是 Apache Lucene 项目的开源企业搜索平台, 其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如 Word、PDF）的处理。Solr 是高度可扩展的，并提供了分布式搜索和索引复制。Solr 4 还增 加了 NoSQL 支持，以及基于 Zookeeper 的分布式扩展功能 SolrCloud。SolrCloud 的说明可 以参看：SolrCloud 分布式部署。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功 能，Solr 是一个高性能，采用 Java5 开发，基于 Lucene 的全文搜索服务器。同时对其进行 了扩展，提供了比 Lucene 更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能 进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 Solr 可以高亮显示搜索结果，通过索引复制来提高可用，性，提供一套强大 Data Schema 来定义字段，类型和设置文本分析，提供基于 Web 的管理界面等。 Key-Value Store Indexer 这个组件非常关键，是 Hbase 到 Solr 生成索引的中间工具。 在 CDH5.3.2 中的 Key-Value Indexer 使用的是 Lily HBase NRT Indexer 服务. Lily HBase Indexer 是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理 HBase 列索引数据的分布式服务软件。它是 NGDATA 公司开发的 Lily 系统的一部分，已开放 源代码。Lily HBase Indexer 使用 SolrCloud 来存储 HBase 的索引数据，当 HBase 执行写 入、更新或删除操作时，Indexer 通过 HBase 的 replication 功能来把这些操作抽象成一系 列的 Event 事件，并用来保证写入 Solr 中的 HBase 索引数据的一致性。并且 Indexer 支持 用户自定义的抽取，转换规则来索引 HBase 列数据。Solr 搜索结果会包含用户自定义的 columnfamily:qualifier 字段结果，这样应用程序就可以直接访问 HBase 的列数据。而且 Indexer 索引和搜索不会影响 HBase 运行的稳定性和 HBase 数据写入的吞吐量，因为索引和 搜索过程是完全分开并且异步的。Lily HBase Indexer 在 CDH5 中运行必须依赖 HBase、 SolrCloud 和 Zookeeper 服务。