数据库 频道

解码数据管理,腾讯云数据库城市行南京站圆满举办

  2024年7月6日,由腾讯云数据库、OpenTenBase、ITPUB联合主办的腾讯云数据库城市行活动,在南京完美收官。

  本次数据管理专场活动,汇聚了业界顶尖专家和企业代表,深入探讨了数据治理前沿技术以及优秀项目实践。

  多源数据管理的“踩坑”之旅

  在20多年前,公安系统就在用摄像头记录每个路口来往车辆的信息,一个数据库的数据最少也是以20个TB为起点。并且,数据类型一点也不比今天简单,既有过程数据、违法数据,也有交通信号数据、地理信息等等。那个时候,好像没人提“数据架构”这一概念,一个数据库带上几个应用就能满足业务需求。

  那么,问题来了!20年前就能支撑大数据业务的数据库,为什么后来就不行了?今天的数据库、数据架构在业务场景以及底层逻辑上到底发生了哪些根本变化?

  “不同行业不同系统,从技术层面来说,抽象到最高,可以总结成一句话就是:数据是架构的中心,而架构是以数据库为核心进行扩展。” 薛晓刚认为,很多架构上的问题都出在数据层。说白了,就是数据没打通,出现了数据孤岛,这是过去烟囱式系统带来的弊端。

  为了满足数据交互型需求,微服务架构在十年前开始盛行。但是,微服务并不是“小而美”,而是会陷入另外一个“陷阱”。如果会员、订单、物流、结算、库存等等,每一个应用都去做系统拆分,会分成多少个库,需要部署多少开发资源?不仅费用支出持续增加,数据库一致性也得不到保证。所以说,微服务带来了分库,但是带来分库的不是只有微服务。

  当然,微服务架构之所以流行,自然有它独特的优点。比如:数据库服务简单、开发效率高、相互独立不易受阻塞影响等。但缺点也非常明显,包括运维成本增加、DevOps要求高、服务之间的接口易变化、存在重复劳动以及分布式系统的复杂性等。

  薛晓刚指出,从分库带来的代价与风险来看,分库的代价更大,尤其是在开发和运维方面。同时,许多企业只是盲目地学习互联网企业的技术和做法,而忽略了自身业务的特点和需求,包括会涉及分布式系统中的网络开销等问题。此外,分库与分表也有很多区别,比分库更加难以处理的是分表,分表的原则是数量尽可能均衡。

  总的来说,企业在进行技术决策时要充分考虑自身的实际情况和需求,避免盲目追求所谓的“高大上”。

  Serverless成为企业降本增效的首选

  腾讯云数据库高级产品经理陈昊指出,为了应对云计算时代不同业务形态对高弹性、高可用性、可扩展性的需求,云数据库采用Serverless架构,能在高性能之上提供降低成本的更优解。

  针对大家都关心的问题,比如:负载不确定场景下的弹性能力,该如何去应对?陈昊重点介绍了数据库扩容和缩容过程中的稳定性问题,以及更细化场景的解决方案。其中涉及到内存构造、毛刺和抖动等问题,包括IO瓶颈和Binlog模式下的解决方案。

  腾讯云数据库做到了缩容场景无慢查询,实现了真正意义上的弹性扩缩容。超过100毫秒的访问延迟都可以算作慢查询的范畴,对一些性能要求较高的客户,腾讯云对TDSQL-C的性能做出优化,保证在弹性扩缩容过程中无任何慢查询问题,为关键核心业务保驾护航。

  值得一提的是,TDSQL-C Serverless是全球首个可释放存储架构,当实例暂停后,数据会进行归档存储,最高可降低存储80%成本,用户无需再为高额的分布式存储付费。同时,该版本支持只读节点和Proxy弹性能力,可全面承载核心业务,将Serverless技术覆盖到全部数据库场景。

  目前,腾讯云云原生数据库TDSQL-C已应用于微信红包、微信支付、QQ音乐,腾讯会议等腾讯内部明星业务,并为B站、蔚来汽车、好未来、富途证券、心动游戏、嘀嗒出行、微盟等不同行业的外部客户提供了稳定可靠的企业级云数据库服务,帮助企业轻松应对快速增长的业务,实现云原生架构升级和降本增效。

  OpenTenBase的整体架构和优势解析

  腾讯云数据库高级工程师马家豪在主题分享中介绍,OpenTenBase采用了无共享(share nothing)的分布式集群架构,再加上它在分布式事务、HTAP、扩展性、安全与容灾等多个方面的能力,使其在多中心多活架构的建设方面具有天然的优势。

  整个分布式集群架构由Coordinator协调节点 、Datanode数据存储节点、主备GTM全局事务管理器组成,节点之间相互独立,各处理单元之间通过网络协议进行通信,具备很强的并行处理和扩展能力。

  此外,马家豪还介绍了OpenTenBase数据库在不同领域的应用和未来发展方向,重点分享了欧洲航天局以及微信支付等案例。

  写在最后

  数据库是管理数据的地方,对于任何企业来说都是“刚需”中的“刚需”。如何应对多元数据存储和管理的挑战?如何选择自己适合的数据库解决方案?到底是业务主导还是技术主导?在圆桌讨论环节,可以说是金句不断,精彩观点频出!

  大家普遍认为,具体的应用场景决定了多元数据存储和管理的选择。同时,有一位嘉宾也提到了在实践中可能会遇到的问题和挑战,例如:如何处理不同数据库之间的兼容性和一致性等。

  一般来说,一些大型企业的数据库实例数量很多,因此需要采用集中式的方式进行管理和监控;而对于一些小型企业而言,选择合适的数据库方案非常重要,可以考虑使用开源的数据库方案。此外,还有一些国产化的数据库方案可供选择,需要根据实际情况进行评估。

  通过专家们深入浅出的讲解,不仅让我们对各种架构和技术内核有了更深的理解,更激发了我们对数据管理模式的无限遐想。展望未来,愿我们在数智化征途上都能找到那个志同道合的人、产品、技术和方案,大家携手共进,共同拥抱全新时代。

0
相关文章