人工智能与BI 3.0如何融合? - kdnuggets


公司组织使用各种BI工具来分析结构化数据。这些工具用于临时分析,以及对于决策至关重要的仪表板和报告。随着BI和数据管理工具的发展,分析师已经能够在其工具箱中添加高级分析(甚至是机器学习)。在本文中,我们将描述延续这一趋势的一组新的BI工具。
 
BI历史回顾
 BI解决方案最早出现在1970年代,当时有SAP,Siebel和JD Edwards等公司的早期系统。1980年代数据仓库的增长催生了一套新的解决方案,包括Microstrategy,Cognos和Business Objects。早期的BI解决方案组(“ BI 1.0”)归IT部门所有,这意味着大多数用户无法自行创建报告和仪表板。用户必须接受广泛的培训才能熟练使用和管理这些解决方案。这一代工具主要专注于生成报告和仪表板。
2000年代初期,BI的开发速度提高了,并且BI集中在IBM,Microsoft,SAP,Microstrategy和Oracle手中。新一代的BI系统使用户可以基于预生成的架构执行临时分析。更准确地说,用户可以创建仪表板,并且可以使用不同的维度和指标对数据进行“切片和切块”。
中期情况是为数据分析师构建的新解决方案的兴起。以Tableau和Qlik为例,这套新的“ BI 2.0”工具集中了可视化,交互式分析和易用性。这些公司引入了一种与数据交互的新形式-可视化透视图-将透视表与图表和可视化图相结合。用户可能仍然依靠IT将其BI工具连接到数据仓库或数据库,但是他们也可以在他们控制的数据集(如电子表格或文本文件)上使用这些工具。一旦它们连接到数据源,这些工具将使分析人员能够进行即席分析,创建和重新发布仪表板和复杂的可视化文件,而不会受到IT部门的干扰。这些工具使BI和交互式分析无处不在。
随着BI在过去30年中的发展,数据分析师的核心职能基本保持不变。分析人员通常从假设或问题开始,然后询问数据以完善其理解。这是一个反复的过程,在确定一个合理的答案之前,可能需要花很多时间来假设一系列假设前提(使用指向高维数据集的BI工具)。如果该过程可以自动化怎么办?
BI 3.0工具试图解决两个重要问题:对IT的依赖和手动分析。为了解决第一个问题,数据分析人员需要能够使用自动生成数据仓库的解决方案(例如ThoughtSpot,Hypersonix)或使用抽象ETL流程的解决方案(例如Fivetran,Matillion)来创建自己的数据模型)。第二个问题是通过一套新的“ AutoBI”解决方案来解决的,例如Sisu,Anodot,YellowFin和Outlier。这些解决方案可自动生成见解和建议,从而减少了手动数据分析的需求。
 
BI 3.0栈
在这篇文章中,我们重点介绍了在产品和研究系统中开始出现的有希望的创新。为此,我们列出了一些正在改变BI的趋势。首先,我们看到了通过自动化和大规模模式识别减少了手动分析需求的解决方案。其次,随着新界面和新数据准备解决方案减少了召集IT团队的需求,我们看到了进一步的简化和民主化。最后,我们看到BI解决方案可以扩大用户数量,并使他们能够解决更复杂的问题。

  • 新的用户界面

BI工具的用户已经习惯于使用图形用户界面来创建报告或与数据进行交互。GUI可用于临时分析,以及用于创建,安排和管理报告和仪表板。高级用户可以访问基于文本的界面,在该界面中,他们可以使用SQL或其他查询语言创建自定义查询,并编写脚本以自动执行任务。
一套新的工具有可能扩展BI工具的用户基础,同时扩展用户的能力。
  1. 虽然过去基于自然语言的查询工具的表现从未引起人们的最初兴趣,但是自然语言模型的改进最终可能会导致允许用户以文本或语音查询形式编写查询的工具。最近的示例包括将  关于表格数据的简单问题转换为 数据库查询的工具,使用搜索界面的工具 以及 依赖于神经模型的新 自然语言界面
  2. 我们开始看到用于处理非表格数据的BI工具。例如,图形和图形数据库开始 在许多应用程序中使用, 包括推荐引擎,欺诈检测系统,身份和访问管理以及搜索。诸如Graphistry 和 Linkurious之类的工具  使分析人员能够分析超大图形并与之交互。另一个例子是Kyrix,这是 一个研究项目,其中包括涉及地理空间 数据的交互式可视化 。
  3. VR / AR,平板电脑和表面计算等新硬件导致了新的交互模式,这些交互模式已开始在新的BI工具中使用。

 
  • 自动化分析

公司处理来自许多不同来源的大量数据。分析师通常必须将其BI工具指向具有许多字段和维度的数据收集。一组新的工具可以扫描许多维度的大量数据,并使用机器学习来扩充人类分析人员。
  1. Auto BI  (描述性分析):假设分析师需要了解是什么驱动KPI,但需要手动将BI工具指向由数百列组成的表。一套新的工具可以扫描大型数据管理系统,表面样式和趋势,并自动为图表和报告提供建议。
  2. 自动分析 (预测分析):另一组工具使分析师能够进行复杂的分析,而无需召集数据科学家。现在有一些工具可以自动执行群集分析,异常检测,预测并运行假设情景和模拟。

 
  • BI的自动化数据准备(运行中为ETL + DWH) 

甚至最好的BI工具也依赖于分析人员和业务部门可以交互的数据仓库的创建。一组新的自动化工具压缩了为BI创建数据仓库的过程。这些工具专注于结构化和半结构化数据。它们涵盖从不同系统(云原生ETL)提取和移动数据,以及自动创建分析人员可用于BI的数据结构。

 
结论
在接下来的几年中,期望在BI堆栈的上层(AutoBI,界面,AI服务)进行大量创新。在这篇文章中,我们描述了减少对IT和手动分析的依赖的新工具。分析师看重那些可提高生产率并降低 TTI  (洞察时间)的工具。在竞争日益激烈的业务环境中,降低TTI将是评估BI解决方案的重要标准。实际上,我们在这篇文章中列出的公司都是为了减少TTI而设计的。
我们还期望解决方案将继续帮助分析师扩展其功能,以包括更大的数据集,非结构化数据和高级分析。用于高级分析的新工具将使分析人员能够生成洞察力,以帮助其组织达到(甚至超过)关键指标。
数据管理的创新将伴随着BI的发展。我们预计将出现自我管理,横向扩展,云原生解决方案。我们还预见到了云数据管理系统,该系统将通过根据实际消耗的资源进行定价来模仿无服务器模型。但是对于数据和业务分析师而言,DBMS是一种商品,就像汽车引擎盖下的引擎一样。分析师并不关心存储或计算引擎的细节。他们需要能够降低TTI,提高生产率,开发先进技术并帮助他们超越KPI的工具。