elastic_kibana

elk

ES数组对象，以及Kibana相关操作

好久未写过博客，一晃就年底。

前两天需求是在Kibana里生成曲线，关键是数据类型是数组对象。稍微走了写歪路，下面从数据类型开始说起。

数据

  • mapping:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    data: {
    	properties: {
    		data_value: {
    			type: "long"
    		},
    		index: {
    			type: "long"
    		},
    	}
    }

  • 示例

    1
    2
    3
    4
    5
    //example1:
    {data: [{index: 0, data_value: 200}, {index: 1, data_value: 300}]}

    //example2:
    {data: [{index: 0, data_value: 200}]}

    即data为数组对象，每次含有的index的有可能是多个，有可能是1个。

  • 数组对象在es中的存储

    1
    2
    3
    4
    5
    6
    7
    //example1:
    {
      data: {
      	 index: [0, 1],
      	 data_value: [200, 300],
      }
    }

    在ElasticSearch中对数组对象的访问可通过data.index，data.data_value的形式进行。示例中example1的存储如上所示，0和200，1和300之间的关系其实就不再存在了。

    当时我的需求是，需要对index进行分桶，针对每个index，求出metric。如在index=0的桶里，求data.data_value的max,桶里边只有example1和example2的数据，理想中的max应该是200,但求出来发现是300…问题就在存储上，data.data_value在存储上其实是[200, 300],与index=0还是1一点关系都没有..

    如果非要实现对index=0下求data_value的max呢?

Scripted Fields

当时需求是在Kibana上实现，故以下皆以Kibana作例，若是单纯的写ES的查询或聚合语句，可直接参考script内容。

How to create Kibana Script Fields

在ES中支持查询返回一个script value,即在查询时就进行相应的script计算。elasticsearch script fields starting.

既然是script，自然就灵活很多，可以通过添加新的字段，将上面的数组对象中的值转换为key-value格式的，那么在聚合统计操作中选择对应的key即可。

具体操作为，在Kibana中选择Management中的Index Patterns,选中对应index,选择Scripted field，新建一个(Add Scripted Field)。Name填入如data_index_0,Language选择painless,Type选择为number。script内容为

1
2
3
4
5
6
7
  if(params['_source']['data'] != null) {
	  for(def item : params['_source']['data']) {
	     if(item.index == 0)
	       return item.data_value;
	  }
	}
return null;

最后选择创建字段即可，在Discover页面中即可看到每条数据中都增加了data_index_0,其值为index=0时对应的data_value。这样就将对象数组中的数据搬出来以key-value的方式存在了。另外，官方在介绍Scripted Fields时说明尽量不要使用_source字段，会使搜索变慢，以后在使用的过程中最好还是使用doc。如获得data.index的方式为doc[‘data.index’].values,返回值为List。