海量数据 如何处理海量数据，发现数据价值？

介绍

易策软件|售前总监|龚春强

今天，边肖继续为您带来2018 Qlik用户大会的精彩内容。这次分享的是易策软件售前总监龚春强先生的“数据驱动的数字化转型”。他介绍了从数字1.0到4.0的转型以及在整个数据分析领域对用户的支持需求:一是可以支持用户处理足够海量和全面的数据；其次，它需要支持用户更快、更方便地展示数据，发现数据的价值。跟随边肖了解更多~

数字转换过程

随着计算机技术和网络技术的发展，企业在不同阶段面临不同的挑战和变化。下图是龚春强先生带你回到1.0到4.0的数字化过程。

如今已经不是大数据时代，而是进入了智能企业数字化时代。自动化是企业运营的代表。许多业务流程进一步专业化和自动化，并通过人工智能变得更加智能。

数字化转型从广度、深度和精度三个角度发展。

广度:从企业的价值链到供应链和后端销售市场，乃至客户行为的发展。

深度:不仅通过手中的工具，还通过电脑的自动采集，并通过物联网，不断通过更深层次的采集。

准确性:现在手工数据的数据结构是不一致的，但是以后整个数据连接自动化了，数据的准确性就可以掌握了。

分析经济，推动数字化转型

人类正在经历前所未有的巨大变化，至少是工业革命以来，甚至是很长一段时间以来。与其意识到我们周围的这些变化将从根本上改变我们经济发展和繁荣的基础，不如确定我们正在经历的变化是“最大的”还是“最快的”。那么，在这个新的现实中，如何保持繁荣发展呢？

数据是新经济的基础——它是一种宝贵的原材料。众所周知，数据比以前越来越多样化，因此比以往任何时候都更有价值。然而，数据仓库和数据湖中的非活动数据毫无价值。

如果数据不能通过分析转化为洞察，数据就没有价值。分析必须能够利用所有的数据，找到相关的部分，并显示可用的见解。随着数据的增长和变化，分析必须能够适应和发展。

通过分析产生的见解必须推动有助于业务转型的行动。没有分析，生意不会更成功。绝对有必要认识到，洞察力被定义为新的信息，它可以在理想条件下驱动变革，实现转型变革。

转型提升价值

重新想象过程:在这个过程中，当前的过程从根本上以不同的方式处理。当一个过程被重新构想时，包括过程本身的目标在内的一切都在改变。

客户洞察:更好地了解客户，从而提供更好的服务，更高效地向客户销售产品，最终建立更忠诚、更有利可图的关系。

新的商机:开辟新的商机可能是最明显的转型方法，但不是一件容易的事。有时候，这些新的机会与核心业务相似，有时候，这些机会是核心业务的增强。

风险/收益平衡:企业往往很难平衡风险和收益，因为组织往往采取规避风险的态度。对风险和回报的谨慎管理可能会导致任何企业的转型。

商业智能的局限性使其价值无法实现

通过检查其他商业智能“解决方案”的局限性，我们可以知道它们的价值根本无法实现。

传统BI栈厂商实施时间长，复杂性导致企业在IT资源上投入大量资金，难以适应不断变化的业务需求。

另一方面，基于查询的可视化工具可以快速创建一两个漂亮的图表，但不能包含分析中的所有数据。用户必须选择一个复杂的数据准备过程(没有工具)或处理一个数据子集。因为这些工具都是基于查询的，用户会受到线性路径的限制，需要的时候无法真正无限制的探索。这些工具通常缺乏治理和控制的能力，但专注于一个分析师“英雄”为其他人做所有这些。

Qlik使价值得以实现

Qlik产品的核心是一个独特而强大的关联引擎，它将数据聚集在一起，并允许人们以基于查询的工具无法实现的方式进行探索。那些使用SQL和query作为数据建模和交互分析基本框架的工具，为一些数据子集提供了有限的线性探索和分析。这通常意味着用户需要再次向更有经验的数据专家寻求帮助。我们称之为“问、等、答的循环”。

Qlik关联引擎是专门为交互式和自由形式的探索和分析而设计的。所有数据都是从您的所有数据源集成的，不会丢失任何数据。Qlik提供了强大的即时计算和摘要功能，允许用户根据他们看到的数据不受任何限制地进行探索、搜索和处理。所以Qlik用户可以体验到以前没有见过的感悟。这只能由Qlik的关联分析引擎提供。

简而言之，关系数据库和SQL查询不是为现代分析而设计的。虽然大多数现代可视化工具依赖于SQL从它们的源中提取数据，包括Qlik，但其他工具依赖于SQL和基于查询的方法作为它们的数据建模和交互式分析支持的基础设施。这是一个重大缺陷，导致对一些数据的线性探索和分析有限。换句话说，必须有人使用SQL连接来集成数据源，并且必须假设用户想知道什么样的事情，从而相应地提取数据。所有其他数据将不会被处理。

Qlik使用我们获得专利的创新联想引擎来解决这个问题。关联引擎是专门为交互式和自由形式的探索和分析而设计的。所有数据都经过聚合和完全索引，以便在来自所有数据源的数据中找到所有可能的关联。有了Qlik工具，即使汇总了大量的数据源，也不会漏掉任何数据。Qlik不提前汇总数据，也不依赖数据库计算，而是提供强大的即时计算和汇总功能，可以根据用户交互即时更新所有分析结果，突出所有相关性。这意味着人们可以根据所看到的内容自由地探索、搜索和洞察内容，而无需任何限制或等待。他们不必再寻求专家的帮助，等待新的询问或总结。数据就在那里，等待充分发掘。因此，Qlik用户可以体验到以前看不到的洞见。这只能从Qlik关联分析引擎获得。

如何充分利用数据资产

使用我们所有的数据是非常重要的，因为影响企业从分析中实现价值的重要趋势之一是我们使用数据的能力。结合不同的数据源来反映数据的真实价值。这将加快价值实现的速度，并提高数据质量。

第一波大数据分析的成功是有限的，数据仓库通常不会完全兑现承诺。在大多数情况下，数据被扔进数据湖或数据仓库，就像累积的数据一样。

所以数据(大小)越来越小，数据组合越来越多。随着数据变得越来越分散，并且大多数数据是在云之外和云中创建的，在没有上下文的情况下查看单个数据集的价值将会降低。

下一波是关于快速将大数据和小数据结合起来以提供特定的高价值用例的能力。随着焦点转移到数据语义和目录，使用外部数据源来标准化数据模型变得更加容易，这将变得更加容易。

这种情况正在发生，Gartner预测，到2019年，75%的分析解决方案将集成10个或更多来自第三方合作伙伴或第三方提供商的外部数据源，100%的企业将购买外部数据。

Qlik在抓住这个机会方面保持领先。

将数据转化为洞察力

Qlik平台使我们的客户能够通过一个可扩展的开放平台满足整个企业和所有其他分析需求。这包括:

自助数据可视化支持分布式分析部署，并使个人和团队能够以自助方式探索数据。在自助服务环境中应用治理变得越来越重要。

引导式分析(通常称为Gartner的受控数据发现)通过预先构建的仪表板和报告为多个知识工作者部署业务智能和分析，并与特定的业务流程或工作流相匹配，即营销绩效仪表板、销售绩效等。

嵌入式分析是指将分析、仪表板和可视化嵌入到内部或外部网站/内部网/外联网或其他企业应用程序中，通常针对特定的受众或与企业应用程序支持的特定业务流程相匹配。

该报告支持集中创建像素完美报告并自动分发给整个企业的多个用户，并得到我们的打印产品的支持。

Mobile无论在线还是离线都能提供同样完整的连接体验。没有快捷方式或预聚合快照。此外，该界面提供了对设备的全面响应，因此用户可以获得优化的体验。

通过提供这些用例，我们可以满足所有需求，支持我们的客户在向BI迈进的过程中不断演进，帮助他们联系所有人员，无论是数据科学家、业务分析师、业务用户，还是整个企业内外的知识、信息、运营人员。

利用洞察力推动企业转型

能力的增强始于成绩，止于成绩。提高数据素养至关重要。如果没有懂数据的人，你的企业将缺乏必要的技能。因此，Qlik创建了一个(基本上)免费的数据扫盲计划。一旦你掌握了数据素养，你的人民就可以自由探索，没有边界。虽然人的探索直觉很强，但如果通过增强智力来进一步增强这种能力，就能获得不可阻挡的探索能力。增强型智能将最好的人类能力和最好的机器能力结合起来，达到整体优于所有部分之和的效果。分享和协作将进一步提高您的员工相互沟通、理解信息和解决问题的能力。这样，您的员工可以进一步提高他们的数据素养。

Qlik提供了简单、优雅、直观的用户体验，将Qlik相关性分析引擎与Qlik认知引擎相结合，为加速获取可行的见解奠定了基础。

从数据结构、企业部署和整个用户的角度，如何帮助客户做相应的数据分析。我们期待数字化转型越来越快，这需要IT技术、软硬件技术、业务结构和组织的变革。Qlik帮助人们在数据分析和数据价值方面更快、更好、更方便地展示数据的价值。