国产数据库激荡40年

放大字体  缩小字体 2019-10-11 12:38:55  阅读:7912 作者:责任编辑NO。石雅莉0321
​编者按:本文来自微信大众号“CSDN”(ID:CSDNnews),作者唐小引、屠敏,36氪经授权发布。在被 Oracle、MySQL、DB2 等产品蚕食。

编者按:本文来自微信大众号“CSDN”(ID:CSDNnews),作者唐小引、屠敏,36氪经授权发布。

在被 Oracle、MySQL、DB2 等产品蚕食的我国数据库商场,国产自研数据库怎样才干真实鼓起?

一年前,在中兴通讯制裁工作之际,笔者曾请教过巨杉数据库(SequoiaDB)联合创始人王涛一个问题,「在 CPU、操作体系、数据库这三个技能软硬件中心范畴来看,在哪一方面自主化的脚步能够更快?」彼时,王涛给出了「数据库>芯片>操作体系」的定论,「曩昔许多本来运用 Oracle、MySQL 的企业现已转用咱们国内的数据库,这是现已发作的工作,不是未来时,而是现在时。」

从 2017 年 Gartner 发布数据库系列陈述咱们第一次看到国产数据库的身影,阿里 AsparaDB、南大通用 Gbase、和 SequoiaDB 初次当选,2018 年 11 月,华为云、腾讯云紧接进榜。

本年 5 月,华为将从 2008 年便开端研制的 GaussDB 数据库发布,并首要经过中金国盛金融职业规范契合性试点测评。一同,在 9 月华为全联接大会上,面向开源,正式宣告了鲲鹏智能数据工业联盟数据库工业推动组的树立,会聚数据库产学研生态各方力气,推动国产数据库开展。

10 月 2 日,世界事务处理功能委员会发布了数据库最新功能测验成果,在 TPC-C 基准测验中,由阿里巴巴集团蚂蚁金服自主研制的分布式联系数据库 Oceanbase 打破了由 Oracle 坚持了 9 年的 TPC-C 基准功能测验世界纪录,一时引发职业热议。

这既代表数据库自主化脚步更快的这个答案得到了印证,也让国人的目光逐步地聚集在了数据库这一范畴。

近几年的回忆尤为鲜活动听,但实际上国产数据库的起步要比咱们想的更早、更弯曲,要想厘清我国数据库几经曲折的开展头绪,还需求从数据库的源头开端说起。

01 数据库的宿世此生

回忆整个数据库开展史,避不开的 Oracle。《浪潮之巅》一书中,作者吴军评 Oracle 的鼓起,「很大程度上靠的是它最早看到联系型数据库的商场前景,并且在商业形式上优于 IBM。」

一同还颇值得重视的一点,假如没有信息革新,Oracle 创始人 Larry Ellison 或许不会走上数据库之路。

在信息革新之前,关于数据的办理、存储哪有数据库的概念,其实更多地是依托人工来进行办理。彼时在以0 和 1 为根底的数字化年代拉开帷幕之际,关于核算机而言,从硬件视点来看,外存只要纸带、卡片、磁带等概念,而软件也没有有完善的操作体系诞生,这个时分更多的是依托分拣机、制表机、纪录机等东西,人工手动地记载各种完好的数据。值得一提的是,现在现已 108 岁蓝色巨子 IBM 在这个时期正是凭借着打字机、处理机、以及大规划定制企业的信息技能和事务处理方案而逐步强大。

后来到了 20 世纪 50 年代后期,跟着磁盘、操作体系、磁芯存储器等数据存储设备的呈现,新的数据处理体系迅猛开展起来。其间在操作体系中,也诞生了一种专门办理数据的软件,而它被称之为文件体系。彼时的文件体系关于企业而言,通常被视为一种存储着许多离散的目标的文件柜,不过这也完结了记载内的结构化。

20 世纪 60 年代,当核算机开端广泛应用于数据办理,以及许多信息的涌入时,业界发现传统的文件体系现已远远无法满意关于查询、存储、办理数据的需求,恰逢此刻能够共同办理和同享数据的数据库办理体系(DBMS)应运而生,终究依据 DBMS,用户能够愈加方便快捷地编组许多数据。1964 年前后,来自军事信息体系的工作人员创下了「(Data base)数据库」一词,用以表明由分时同享核算机体系终端用户同享的数据调集,能够视作数据库概念的真实诞生。

在后面的一段时间内,数据库体系的开展阅历了好几个阶段:层次数据库、网状数据库和联系数据库等。从目前商场来看,联系型数据库现已成为数据库产品中最重要的一员,其间典型的代表企业与产品有 Oracle、开源的 MySQL、IBM 的 DB2、微软的 SQL Server 等等。而在深究联系型数据库为何如此受欢迎时,咱们发现这首要是由于传统的联系型数据库能够比较好地处理办理和存储联系型数据的问题。

02 我国数据库开展史:从依靠进口到自主研制

在回忆以上全球数据库开展史的过程中,相对而言,国内数据库技能的遍及稍显晚一些。上世纪 70 年代,也便是从 1970 年 IBM 英裔美籍核算机科学家 Edgar F. Codd 提出联系型数据库的理论到 1978 年 Ellison 兴办的 SDL 软件开发实验室在 DEC 小型机 PDB-11 上开宣布一个代号为 Orace 1 的依据联系型数据库体系,再到 1979 年推出 Oracle 2 并商用的这段年月里,我国数据库正式敞开了理论研讨。

Edgar F. Codd,https://amturing.acm.org/award_winners/codd_1000892.cfm

但直至 80 年代初,我国信息技能建造的开展才与世界接上轨迹,而彼时在人才、技能等急缺的困境之下,咱们更多地是选用引入国外先进的手法来补偿国产技能的空白点:

  • 1989 年,Oracle 决议进军我国,并将 Oracle 的中文名注册为“甲骨文”。而要说 Oracle 之所以能有今日的成功,除了硬实力,时机相同很重要。就在 Oracle 成功进入我国商场几年后的 1995 年,国内的邮电部电信总局提出开发和建造市内电话事务核算机归纳办理体系,即为“九七工程”,其并于在同年下发了一系列的技能和事务规范,要求全国县以上的邮电局在 1997 年末前施行「九七工程」。1997 年,Oracle 顺畅地拿下东三省邮电办理局 5 期工程的大单,由此在我国数据库范畴敏捷站稳了脚步;

  • 1991 年,Sybase 进入我国大陆,经过一段时间的本地技能人才积储与商场拓荒后,在 1993 年出资 230 万美元正式树立 Sybase 在我国的公司,注册名称为赛贝斯软件(我国)有限公司;

  • 1992 年,IBM 在正式进军我国之际,启动了「开展我国」的大战略,带来了 DB2 和Informix等产品;

  • 1992 年,Microsoft 在北京建立代表处;

  • ……

就在短短这数十年期间,我国数据库职业的格式在剧烈的比赛中已然成了型:金融职业中以 IBM 的 DB2、Informix 的为主,电信职业中则被 Oracle 一统了江湖。

不过在国内互联网起步之初虽有外企数据库技能做支撑,但业界无论是谁,也都清楚地理解那些终归不是自己的东西,更至关重要的还有国外数据库厂商在规范拟定中带着私货。因而在整个 80-90 年代期间,我国自主的数据库研制也并没有闲着,且跟着互联网门户网站年代的降临,各大 IT 社区也逐步活络起来,许多技能人/企业也开端从暗地走向了台前,这其间就包含了达梦、人大金仓、神州通用、南大通用等专心于国产数据库的新星们,也包含了阿里巴巴、腾讯、百度等现在的互联网巨子。

风云起,年代变,全部形势都在耳濡目染中开端改变。

在事务规划不断扩展、数据量和事务量呈爆发式增加形式下,以「Oracle 数据库+IBM 小型机+EMC 的开支」昂扬输出让不少科技企业逐步无法忍受,对此,用时任 2012 年支付宝数据渠道负责人、阿里巴巴首席 DBA 冯春培的话来解说彼时阿里去 IOE 化的初衷:「互联网企业的 DBA 承受的压力十分大,早在 2004 年时,数据库常常出问题。后来, 跟着事务的发超速开展, Oracle 的优化仍是承载不了事务的开展,所以开端拆分。这些工作完结由于涉及到安全、买卖、涉及到数据的安稳性问题, DB 现已不能做了,这个时分就需求架构开端受到重视。」

在此局势下,开源的 MySQL 迎来了自己的春天,也开端逐步动摇了 Oracle 共同天下的位置。但人要懂得高枕无忧,产品亦然,由于“你永久不知道,明天和意外哪个会先来”。

比如,开端于瑞典 MySQL AB 研制的 MySQL 在经过近 30 年生长后,于 2008 年被 Sun 公司以 10 亿美金收买,但是还未等 Sun 公司对其雷厉风行完善去推行之际,Sun 公司就又被 Oracle 成功的以 74 亿美元收买了,而意欲和 Oracle 一决高低的 MySQL 也在一时之间成为了它的自家人。

这一音讯的到来,无疑意味着 Oracle 在业界的地图又在一夕之间扩展了许多。但关于国内数据库商场而言,这未必是个好音讯。直至今日,依据 DB-Engines 数据库盛行度最新的排名显现,位居前位的依然是几家老牌数据库企业。

那么,在被 Oracle、MySQL、DB2 等产品蚕食的我国数据库商场,国产自研数据库又该怎样鼓起?

03 数据库怎样才干成?

生于 60 年代,85 年读研即开端学数据库的华东师范大学副校长周傲英教授在谈及我国数据库开展时,感念之情溢于言表,他对 CSDN(ID:CSDNnews)这样说道:

数据库一向都是我国的切肤之痛,从六五(指第六个五年计划)开端,咱们就在立项,咱们要做自己的数据库,但咱们一向没有弄理解,为什么咱们做不出来自己的数据库,后来到了互联网年代,咱们一会儿觉悟过来了,便是生态。这之中既包含用户生态,更包含技能生态,前者是咱们要将国内数据库商场空间做大,后者是咱们要构成合力,由于数据库要处理的问题是归纳性的,只要一同才干将这个工作做好。

这个理念,与华为 IT 产品线副总裁、智能数据与存储范畴总裁周跃峰不约而同,也正是鲲鹏智能数据工业联盟数据库工业推动组的初心。周跃峰向 CSDN(ID:CSDNnews)说道:

华为做数据库现已许多年了,曩昔华为做数据库首要是为了处理自有产品的事务接连性问题,华为许多产品中都要运用到数据库,有一种最直接的方法便是集成 Oracle 数据库。

大约几年前,咱们意识到未来或许会有危险,因而就开端研讨自己的数据库,到今日,一方面是可靠性安稳性都已杰出到了推向商场的阶段,一同,也是由于美国的工作对咱们的事务接连性产生影响,所以就爽性敞开出来让咱们都来用。

一同咱们也要意识到,数据库和其他产品不太相同,它是需求生态和协作伙伴的,特别是用户生态和技能生态,光靠自己是远远不够的,需求产学研界一同协作,脚踏实地地讲,国产数据库相关于美国数据库,在技能上仍是有一点距离的,因而关于咱们来讲,有必要要走到一同。

华为 IT 产品线副总裁、智能数据与存储范畴总裁周跃峰(左)、华东师范大学副校长周傲英教授(右)及作者(中)

确实如周跃峰所言,一向以来,数据库是软件工业的重工业,也和操作体系、中间件并列为三大根底软件。现在跟着万物互联设备的不断增多,高流量的数据正在经过网络输出。显而易见,咱们正在进入一个大数据年代,关于数据的处理,也便是关于数据库工业而言,是一个巨大的时机。不过,当时就国产数据库而言,还面临着许多的难点。

这是一个最好的年代,在当时自主可控的布景下,国产数据库迎来了真实的春天。一同,在 5G、AI、云核算等技能驱动下,国产数据库在分布式、云化这条道路上也拓荒出了一条全新的赛道。但一同,咱们也面临着十分严峻的应战。在这个百花齐放百家争鸣的年代,通用数据库的规范、规范绝大多数仍把握在上文所述的国外数据库大厂手中,咱们怎样打破常规,将共同通用的规范紧紧地握在自己手中?

在华为的推动下,本年 9 月,包含华东师范大学、人民大学、信通院、我国电子技能规范化研讨院、达梦、金仓、神通、神州数码、用友、云和恩墨、CSDN 等在内的数据库产学研界各方代表齐聚一堂,进行了长达 4 个小时的闭门会议。

在这个过程中,不少专家共同以为,数据库的规范很重要,而怎样把一些技能做成规范被商场广泛的承受,是业界需求同心去考虑与探究的工作。对此,他们也共享了一些自己的观点与主张:

  • 国内数据库只要遵从共同的规范,将来数据库才干互联互通的,假如企业搞关闭或许各自独立完结,那么将失掉共赢的时机;

  • 其次,在面向开源时,这些技能产品/规范首要需求处理信赖以及开源知识产权的一些问题,才干被业界渐渐承受;

  • 再者,这些产品还需求在技能上有满足深度的打磨,并长时间地运用与优化。

本文仅代表作者个人观点,与本网站立场无关。如若转载,请联系我们!

本网站转载信息目的在于传递更多信息。请读者仅作参考,投资有风险,入市须谨慎!

推荐阅读