Skip to content

Latest commit

 

History

History
83 lines (62 loc) · 7.49 KB

elasticsearch_brief.2014.11.md

File metadata and controls

83 lines (62 loc) · 7.49 KB
Raw

Elasticsearch 2014年11月简报

Elasticsearch Updates

  • Elasticsearch 1.4.0发布了，1.4.x中最新最稳定的版本。 这个版本主要加强了Es的稳定性和可靠性，内存管理更合理，加入数据校验以发现损坏的数据，主要变化如下：
    • 磁盘利用率默认每60s检查一次，磁盘满的日志由DEBUG改为WARN级别，对由磁盘满触发的shard在node之间的移动做了优化。
    • Doc values把执行sort,aggregations时需要的fielddata写到了磁盘上，解决了默认用 in memory fielddata执行big query超出内存限制或占用过多内存的问题。近期发布的版本对doc values做了巨大的性能改进，根据官方的性能测试，它仅比fielddata慢了约10~25%，并且对于大部分的Queries, sorts, aggregations,scripts几乎感觉不到。
    • 通过Request circuit breaker加入了对单个请求的内存使用限制
    • 大量使用数据校验以检测数据损坏.
    • Groovy替代MVEL成为默认的脚本语言。
    • 跨域访问（CORS）默认被禁止。
    • Shard级别的Query cache使常用的aggregation, suggestions可以立即得到结果。Query cache目前只能用于search_type=count, 没有通过now指定时间的query中。
    • 新加入了3个aggregation类型：filters (docs), children (docs) 以及 scripted_metric (docs).
    • 一次获取index settings, mappings, warmers, aliases的新GET /index API。详见[doc]。(http://www.elasticsearch.org/guide/en/elasticsearch/reference/1.4/indices-get-index.html#indices-get-index)

curl -XGET 'http://es_host:9200/your_index/_settings,_mappings, _warmers,_aliases'

*    使用Flake IDs代替random UUID,提高了indexing效率和primary key查询效率，见这篇介绍[performance considerations for elasticsearch indexing](http://www.elasticsearch.org/blog/performance-considerations-elasticsearch-indexing/)

我们在10月的Es简报中发布了Elasticsearch 1.4.0.Beta1中提到了更详细的变化。

  • Elasticsearch 1.3.6发布了，1.3.x中最新最稳定的版本，一堆bug fix，见release notes。

Elasticsearch Ecosystem Updates

  • Elasticsearch 安全工具Shield即将发布 elasticsearch背后的公司elasticsearch.com即将在年底发布一款重量级产品：Shield (elasticsearch的神盾特工局，专门保护elasticsearch的安全)。Shield预计是以elasticsearch插件的方式集成到其中。相信感受过此公司的Marvel易用性的用户应该会很期待这款产品。Shield主要提供了4个功能：
    • 基于用户角色对Index读、写、查询的权限控制
    • 对基于LDAP和Active Directory验证的支持
    • 使用SSL/TLS对es node之间，client和node之间的传输加密
    • 记录安全相关的日志

详情见：shield: you know, for security

  • kibana 4 beta 2发布了
    • 现在支持地图了，利用aggregations在地图上地理位置相关的数据。 Kibana4 beta 2 map support
    • 条形图可以以独立的方式按组绘制了，如在一个数据点上的html,css,php.这正是我们需要的功能。 Kibana4 beta 2 group bar chart
    • 朴素的数据表，只展示数据

Kibana4 beta 2 data table

Amazing Slides & tutorials & videos

Meetups in China

  • Nothing

Glossary 术语解释

  • fielddata fielddata的实现思路与倒排索引(inverted index)相反，Es使用倒排索引高效的完成search, 使用fielddata高效得完成aggregations,sorting,filter。fielddata的相关介绍1, 2。

##References

  1. shield: you know, for security http://www.elasticsearch.org/blog/shield-know-security-coming-soon/
  2. Elasticsearch 1.4.0 and 1.3.5 released http://www.elasticsearch.org/blog/elasticsearch-1-4-0-released/
  3. This week in ElasticsearchNovember 5, 2014 http://www.elasticsearch.org/blog/2014-11-05-this-week-in-elasticsearch/
  4. This week in ElasticsearchNovember 12, 2014 http://www.elasticsearch.org/blog/2014-11-12-this-week-in-elasticsearch/
  5. This Week in ElasticsearchNovember 19, 2014 http://www.elasticsearch.org/blog/2014-11-1-this-week-in-elasticsearch/
  6. This week in elasticsearchNovember 26, 2014 http://www.elasticsearch.org/blog/2014-11-26-this-week-in-elasticsearch/
  7. kibana 4 beta 2: get it now http://www.elasticsearch.org/blog/kibana-4-beta-2-get-now/
  8. elasticsearch 1.4.1 and 1.3.6 released http://www.elasticsearch.org/blog/elasticsearch-1-4-1-released/

TODO

Written with StackEdit.