博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
通向ES的高速公路
阅读量:6651 次
发布时间:2019-06-25

本文共 1567 字,大约阅读时间需要 5 分钟。

hot3.png

一、背景

随着互联网的发展和Elasticsearch(以下简称ES)技术的成熟,越来越多的企业、政府单位将产生或者获得大量的数据,用ES进行全文搜索和分析。

维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词,以及提供search-as-you-type、did-you-mean等搜索建议功能。

英国卫报使用Elasticsearch来处理访客日志,以便能将公众对不同文章的反应实时地反馈给各位编辑。

StackOverflow将全文搜索与地理位置和相关信息进行结合,以提供more-like-this相关问题的展现。

GitHub使用Elasticsearch来检索超过1300亿行代码。

Goldman Sachs每天使用它来处理5TB数据的索引,还有很多投行使用它来分析股票市场的变动。

……

伴随上述大数据而来的是数据分析,企业和政府单位都会通过分析数据(数据经营、探索、分析)获得分析结果,并把分析结果大量的运用企业的产品营销或者政府决策上面。而kibana插件在其中起了重要的作用。kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口,可对数据进行高效的搜索、可视化、分析等各种操作,形象地展示数据的变化趋势和分布统计情况。

虽然有了上述的种种优点,但ElasticSearch的安全性与易用性仍饱受争议。从有鉴于此,我们开发出了ESQL工具,用以降低应用程序和用户使用ES难度,为用户提供SQL接口与访问控制能力。一方面,通过ESQL的防护实现客户端与ES集群的安全隔离。另一方面,ESQL工具可以简化使用,可快速在ES上现实高级检索、复杂逻辑运算、安全控制等功能。而kibana的发展受限于ElasticSearch,无法提供用户自助式的服务。即将出炉的FEA3版本推出了KA自助分析插件(以下简称KA),让FEA和ES结合的更加紧密无间,更加适应FEA的一站式敏捷分析。我的数据我做主,让数据分析不再难懂!

二、KA的优势

1、所有data无需记忆,所有数据信息一目了然

不仅显示了表格数据,还可通过图表展示该数据统计信息。

2、分析自助,不懂SQL也能进行数据分析

只需鼠标轻点几下,即可完成数据分析。例如会自动排列出重复出现次数最多的前5个字段的值,鼠标点击该区域即可显示出所有包含该字段内容的数据。

3、比传统SQL强大

可以根据时间序列、IP范围、地址等字段来进行数据聚合

看不清楚,那就再放大一点

以时序字段insert_stamp_string为例,按天设置间隔选择day,让我们来看一下统计的结果

怎么样,是不是很easy,对时序数据的处理,就是鼠标轻轻一点这么简单。

化繁为简之后,使得数据分析的门槛大大降低,应用场景也越加丰富。看到上面的折线图,有没有想到股市里的K线图。没错,股市也是KA自助分析适用的一大场景,你可以根据不同的时序自由调整进行数据统计分析。而按照IP范围或者地址等字段的分析应用,对网络安全的态势感知、地域分布的数据统计分析等场景来说正是恰到好处。

当然,享受该种便利也是有前提条件的,数据必须是按照ES标准格式构建的。

4、KA与FEA完美结合,方便对数据进行深入的分析处理

同kibana一样,KA本身不支持机器学习、更多的图表展现。将KA与FEA结合之后,能够将数据加载到DF表做更加复杂更加深入的分析运算,支持的图表也更加丰富多样。

将ES数据添加到DF表

将分析数据存储到数据库或者数据文件,确保数据不丢失。

将ES数据存储到ssdb数据库

FEA前进一小步,分析师方便一大步!赶快来参与体验吧,你就是那个数据分析专家!

转载于:https://my.oschina.net/u/3115904/blog/850291

你可能感兴趣的文章
深入iOS系统底层之指令集介绍
查看>>
Create a restful application with AngularJS and CakePHP(III)
查看>>
利用git让服务器网站与本地同步 ssh配置
查看>>
Android 混淆代码总结
查看>>
System.Concat - 连接字符串
查看>>
我的友情链接
查看>>
WeeksInAYear、WeeksInYear、DaysInAYear、DaysInAMonth、DaysInYear、DaysInMonth - 获取指定年月的周、日数...
查看>>
Ubuntu 12.04 安装 gearman 以及php扩展安装脚本
查看>>
WinAPI: sndPlaySound - 播放 wav 文件
查看>>
详解 Android 的 Activity 组件
查看>>
linux任务计划
查看>>
MusicXML 3.0 (8) - 符干方向
查看>>
Outlook2013弹出“Microsoft Exchange管理员已进行更改,要求您退出并重启Outlook”的解决办法...
查看>>
时间的运算
查看>>
RHCS配置实例
查看>>
决解访问github慢的问题
查看>>
Centos6.3下mysql主从复制笔记
查看>>
tomcat集群及seeion共享
查看>>
静态路由(一)
查看>>
Linux学习记录--磁盘挂载与卸载
查看>>