一家令人艳羡的大数据AI公司！Databricks

原创

生物信息与育种 2024-06-22 15:12:50 ©著作权

文章标签 大数据 Apache 估值 文章分类 Html/CSS 前端开发

©著作权归作者所有：来自51CTO博客作者生物信息与育种的原创作品，请联系作者获取转载授权，否则将追究法律责任

今日介绍一家大数据AI超级独角兽公司，以及它如何与当前生物基因组学相结合。它就是Databricks，没错，俗称“砖厂”。

Databricks简介

Databricks公司诞生于2013年，是属于Spark的商业化公司，创始人来自Apache Spark大数据处理系统的创始团队，包括加州大学伯克利分校的AMP实验室。

Databricks以Apache Spark开源技术为基础，致力于提供基于Spark的云服务，可用于数据集成，数据管道等任务。总的来说，Databricks是一家大数据基础软件公司。构建统一分析平台，致力于向Lakehouse架构（湖仓一体，即数据湖技术与数据仓库技术结合为一体）迈进。

Databricks 已经与亚马逊、Google、微软、阿里等全球领先的云服务厂商建立合作关系，合计为5000多个客户提供服务。相比于第一代表格式Hive，Databricks的Delta Lake和Apache Iceberg、Apache Hudi被认为新一代数据湖在开源表格式应用上的“三剑客”。对于其他企业而言，基于成熟的开源架构进行改造，使用社区发布的最佳工具，能够最大限度降低企业构建数据湖的成本，避免重复造轮子。

目前Netflix、Apple、AWS等主要基于Apache Iceberg，国内如阿里巴巴、字节跳动、蚂蚁、中移苏研、华为、腾讯等企业则主要热衷于Hudi，而对Delta Lake的贡献维护，81.3%都来自于Databricks。

Delta Lake的出现是本身基于湖仓架构演进而来：从最早的传统数仓（EDW），到为满足低成本存储的数据湖（Data Lake），再到如今的云原生湖仓、湖仓一体（Lakehouse），可以看到过去40年里大数据架构仍在不断演进。

那么谁能够成为当下Lakehouse架构的最早受益者？从用户侧的反馈，湖仓架构的最大短板其实不完全在于技术，如果企业对数据处理要求不高，传统的数仓就能够满足，对升级到湖仓并非迫切性需求。

Databricks的融资速度非常之快，曾在2021年连续获得两轮10亿美元级别的大额融资，估值高达380亿美元。趁着2023年AI大火的东风，Databricks 又获得超 5 亿美元融资，估值高达 430 亿美元，其中包括英伟达。不少投资人认为，上市后的 Databricks 将对齐目前市场估值 760 亿美元的 Snowflake，成为未来全球最有影响力的大数据厂商。

Databricks的成功离不开三点优势：一是产品理念上始终坚持的统一架构模式，面向数据科学、人工智能领域的不断探索；二是在开源（COSS）运营手段上的推动和北美环境的独特优势，有庞大且忠诚的开发者社区；三是基于按订阅制付费的SaaS模式，且面向多云环境提供服务。

Databricks从成立开始就坚持三个原则：All in Cloud、不做数据仓库、不做定制化和 Support。

一家令人艳羡的大数据AI公司！Databricks_大数据

Databricks与基因组学的结合

Databricks为商业大数据而设计，比如其数据仓库主要面向BI，而生物基因组学领域有其特定的数据格式、特点及分析要求，因此二者结合需进行一定程度的二次开发。

在主要公有云中，Databricks已经与之结合非常紧密，尤其是Azure：https://learn.microsoft.com/zh-cn/azure/databricks/。而各大云厂商，都不同程度地针对基因组数据（特别针对医疗领域）做了一些基础设施工具开发。因此，Databricks与基因组学数据是可行的。

而且，Databricks本身也是有相关基因组学工具开发的。比如在2021年，与Regeneron Genetics Center合作，目标是通过为社区构建下一代基因组学数据分析工具来推进研究。它们从 Hail、Plink 和 bedtools 等生物信息学库中汲取灵感，并结合了用于大规模数据处理的一流技术，如Glow现在的计算效率是行业领先的遗传关联研究工具的10倍。

如何在Databricks上做GWAS？具体可查看其官网案例：

一家令人艳羡的大数据AI公司！Databricks_估值_02

一家令人艳羡的大数据AI公司！Databricks_大数据_03

一点思考

医学开始应用，那农业育种能用上类似Databricks的大数据、云计算和AI产品吗？国外应该有，但绝不是仅仅在育种这么小的环节上用，必然要扩展到种植管理、农业服务等上下游产业链来进行，这样有效数据量才能上来。

国内从短期看，还是很难应用的。一是中国的农业育种实在太穷了，连测个芯片都没几家公司愿意花钱，更别提高深度重测序和高通量表型。这些数据量尚且达不到这种平台需要的资源，如果没有源源不断的数据流入和治理，云计算AI根本无用武之地，甚至cover不到成本。不是不行，时候未到。什么时候头部几家大厂开始有意识尝试了，也许育种智能化和工业化就来临了。然而，当真正到应用了才布局时，兴许已晚，这就看大家有没有魄力投入提前布局。