【IT168资讯】10月18日至20日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第12届中国数据库技术大会，在北京国际会议中心举行。大会以“数据未来”为主题，邀请了众多业内技术专家联手带来一场关于数据库的思想盛宴。

　　滴普科技FastData数据平台技术专家吴小前、陈峰、谢辉，分别围绕湖仓一体的数据平台新发展趋势、基于ClickHouse的实时分析引擎实践，以及数据智能平台的整体建设与应用发表了主题演讲。

　　吴小前：湖仓一体流批一体成数据平台新趋势

　　随着全球数据量的极速攀升，最常见的两种存储方式是数据仓库和数据湖，从成本、数据类型、计算负载、数据治理四个维度相互对比，二者各有利弊，因而数据平台的发展趋势正朝向湖仓一体架构。在此背景下，吴小前发表了《滴普湖仓一体架构探索与实践》。

　　吴小前表示，湖仓一体数据平台吸收了数据湖与数仓的优点，可以运用机器学习、AI等技术，涵盖存储计算分离、低成本的统一存储，且支持各种各样的工作负载、多数据类型以及数据分析等功能与优势。

　　然而，构建具备湖仓一体的数据平台，却是一件很复杂的事情，涉及SQL组件、AI分析、流处理和批处理等各种技术组件组合，还会遇到元数据访问效率低统计不准确、跨分区数据和并发访问时出现的数据不一致甚至错误等数据问题。

　　面对这样的现状，作为专业的数据智能服务商，滴普科技构建了新一代云原生数据智能平台FastData，通过引入Apache iceberg表存储引擎解决上述问题，并支持事务隔离、多任务和多引擎并发读写、实时数据分析，实现统一存储，获得端到端近实时的数据处理。在此基础上，滴普科技还提供了实时改进方案，达到了秒级的实时性能。

　　在他看来，FastData是一个低成本、高性能、易使用的一站式数据智能平台，采用存算分离的架构，可以实现统一的存储、集成流批处理引擎和分析引擎，降低数据使用门槛的平台，而这或许就是未来数据智能平台发展的新趋势。

　　陈峰：基于冷热数据分离存储构建数据平台

　　基于湖仓一体、流批一体的数据智能平台FastData，滴普科技成功服务众多大中型企业客户。在这一过程中，滴普科技发现大多数企业已经部署了传统数仓，这就牵扯到如何将新一代数据智能平台FastData与Hadoop生态体系下的数据集群进行融合。对此，陈峰分享了滴普科技的技术实践与解决方案，并发表了《滴普基于ClickHouse的实时分析引擎应用实践》主题分享。

　　陈峰认为，ClickHouse自发布以来，因查询速度快、单机性能高等优点备受欢迎，但也存在一些缺点：不支持事务、不适合点查，仅能批量删除或修改数据，且在有些场景无法单独使用。

　　对于滴普来说，在服务企业客户中，如果推翻客户现有的数据平台，完全依靠clickhouse来重新构建，工作量将会变得非常巨大，如何在客户已有大数据平台的基础上引入clickhouse并存，成为滴普科技在应用中需要解决的问题。

　　为此，滴普科技通过在各种数字化场景深入应用并不断调优，钻研ClickHouse内核，提出了解决方案：即冷热数据分离存储。简单理解，就是clickhouse中只存储需要进行交互式查询的热数据，借助clickhouse强大的查询能力，实现实时数仓，而大批量的备份用冷数据则存储在冷存储中。

　　而且，滴普科技还进一步进行了架构优化：通过引入MinIO等手段，通过数据迁移机制完成冷存储的数据导入，支持PB级别冷数据的存储。同时，为了帮助企业更好部署产品，滴普科技自主研发了DBMS4CK 产品，具备一键安装ClickHouse集群、SQL编辑器、Notebook等功能，将很多ClickHouse的独有功能做成便捷式功能，便于企业各级人员直接使用。

　　目前，滴普科技基于ClickHouse的技术方案，已经连接运用到客户的BI、时序数据分析、实时分析、用户画像等领域。

　　谢辉：构建从咨询到技术实施的整体服务

　　与此同时，滴普科技将数据智能技术应用到各行各业的典型场景中，打造了从战略咨询到落地实施的数字化整体建设能力。就这一层面，谢辉发表了《滴普数据智能平台建设与应用》的主题演讲。

　　谢辉认为，目前的商业环境是VUCA时代，不远的将来会升级为RUPT时代。为了应对RUPT时代急速变化的市场，变幻莫测的需求，企业需要搭建数据智能平台，应对未来的不确定性。

　　面向这样的市场变化和客户的需求，滴普客户提供从战略咨询到落地实施的三位一体服务:

　　1. 数字化咨询服务

　　滴普科技主要与客户一起基于战略目标，打造宏观层面或者具体场景层面的数字化转型规划，涵盖基于业务场景的数据智能平台建设方法、数据治理方法、标签设计方法、数据架构和技术架构咨询等。

　　2. 数据智能平台FastData

　　平台提供了低成本、高性能的计算和存储能力，同时提供数据开发、数据分析和数据管理和探索式分析等一系列工具，帮助客户业务专家、数据科学家、数据工程师在统一的平台高效协作，进而沉淀和管理数据资产。

　　3. 数字化运营

　　在拥有数据智能平台基础设施以后，更重要的是如何使用技术，因此滴普科技推出了数字化运营服务，帮助企业如何基于长期战略和业务需求，更好地利用技术服务业务部门，为业务提供数据，让业务团队可以更好地做决策依据，更好地做业务创新，创造业务价值。

　　聚焦数据智能新趋势，携手行业共发展

　　如今，基于云原生数据智能平台FastData提供的技术平台，滴普科技已将技术能力赋能于商业智能、智慧政务、精益制造、金融科技等典型场景中，成功服务100余家大中型企业。

　　在数字化浪潮席卷的当下，滴普科技将聚焦数据智能平台新趋势，重点打造湖仓一体、流批一体的数据智能平台FastData和数据治理与运营资产平台DXP，着眼数据资产价值的最大化效能，赋能企业业务创新增长，助推企业面向未来实现跨越式发展。