Snowflake 今天开始了其年度会议,对其云数据仓库进行了一系列改进,包括在其 Snowflake Marketplace 中引入用于购买的本机应用程序,通过其新的 UniStore 支持交易数据,以及为数据分析师和数据提供更多 Python 支持科学家们。
Snowflake合作伙伴现在可以使用本机应用程序框架(目前为预览版)构建本机 Snowflake 应用程序,这些应用程序可以通过其新的 Snowflake Marketplace(以前称为 Data Marketplace)进行销售和分发。Snowflake 客户可以在自己的帐户中运行应用程序,从而无需移动数据,这有助于安全和隐私。
“应用程序并不新鲜。从第一天开始,人们就一直在 Snowflake 上构建应用程序,”Snowflake 产品管理高级总监 Chris Child 说。“但将应用程序交到客户手中一直很困难。”
Child 说,原生应用程序通过使客户能够将应用程序带到他们的数据中,而不是将数据传送到他们的应用程序,从而解决了这一难题。具体来说,根据 Snowflake 的说法,本机应用程序可以构建为存储过程、用户定义函数 (UDF) 或用户定义表函数 (UDTF)。构建完成后,它们可以在 Snowflake 中的任何位置运行。他们还可以利用 Snowflake 在今年早些时候收购 Streamlit 时获得的 Streamlit 功能。
“它们很容易构建,因为原生应用程序是使用雪花原语构建的,”Child 说。“如果你知道如何在 Snowflake 中构建管道或模型,那么你就真的知道如何构建原生应用程序了。”
支持原生应用程序的技术之一是数据洁净室,它使两方或多方能够安全地与雪花环境中的数据协作。Snowflake 产品高级副总裁 Christian Kleinerman 表示,鉴于 cookie 已被弃用,数据洁净室尤为重要。
“……[我]让公司比较和协作他们的第一方数据变得越来越重要,但这样做的同时还要保护隐私和维护治理,”他说。“我们将继续对此进行投资,您将看到它进入私人预览版,为希望将应用程序的数据或功能更详细地发布到市场的客户提供了一些可见性控制。”
UniStore 统一交易和分析数据
Snowflake 处理数据孤岛的另一种方式是使用 UniStore,这是一种专为事务数据设计的新存储和查询选项 Snowflake。
Snowflake 不是将事务和分析数据存储在单独的存储库中,这会加剧数据孤岛,而是希望客户将这两种类型的数据存储在其数据仓库中。Snowflake 产品管理总监 Carl Perry 表示,这提高了从各种客户数据中获得洞察力的潜力。
“UnitStore 确实是一种在单个统一平台中处理事务和分析数据的现代方法,”Perry 说。“现在,您的事务和分析数据都在数据云中,您现在可以开始在该数据之上执行惊人的分析查询,并发现以前不可能的洞察力,因为它同时在您的事务和分析数据上。”
UniStore 的一个关键元素是混合表的概念,目前处于预览阶段。根据 Snowflake 的说法,混合表允许对数据快速执行快速的单行事务。
“而且因为这只是 Snowflake 中的另一种表类型,它可以与 Snowflake 中的所有现有数据和表无缝集成,”Perry 说。“正因为如此,它的使用和利用非常简单。我们构建了大量创新功能,真正让我们所有的客户都可以轻松地将交易数据和分析数据转移到 Snowflake。”
添加了更多 Python
过去一年左右,Snowflake 一直在拥抱 Python,去年增加了一个 Python DataFrame API。现在,随着 Snowpark for Python 的推出,它与流行语言的集成更进一步。
Kleinerman 说,Snowpark 的 Python 版本是 Snowflake 的应用程序开发框架,它将 Python 在 Snowflake 仓库中的地位提升到了卓越的地位。
“当我谈到将开发引入数据时,我们已经有了 JavaScript。我们有一个 SQL SnowScript 方言。在过去的几年里,我们已经让 Java 普遍可用,”他说。“但可能在数据编程和数据操作中增长最快的语言是 Python。这可能是我们从客户那里听到的最需要的功能。”
Kleinerman 说,目前在所有三个受支持的云中都处于公共预览阶段,Snowpark for Python 包括几个新功能,包括客户端 API、存储过程、UDTF 和带有用于批量评分的批处理接口的 UDF。
“基于与 Anaconda 的合作伙伴关系,我们提供了一组精选的库,这是一组固执己见的库,可以更轻松地维护治理和自信地对数据进行编程,”Kleinerman 说。
在使用新的大型内存仓库时,Anaconda 集成也将派上用场,这是 Snowflake 在 2022 年峰会上推出的另一个功能。新实例将对内存密集型应用程序有用,例如使用 Anaconda 库对大数据进行特征工程和模型训练,例如 NumPy 等。
该公司表示,Snowflake 还推出了适用于 Python 的 Snowflake 工作表,允许客户使用 Python 和 Snowpark 的 DataFrame API for Python 直接开发数据管道、机器学习模型和应用程序。
该公司还宣布支持在 Snowflake 的新 Streamlit 环境中使用 Python,这将有助于创建交互式应用程序并与他人协作。
最后,它揭示了对基于 SQL 的机器学习的支持。目前在预览阶段,Snowflake 正在开始推出使用 SQL 的时间序列预测,该公司表示,这将使客户能够将 ML 嵌入到他们的应用程序中并提高决策质量。