解雕侠-好玩游戏一站式下载
首页 游戏攻略 腾讯在命运的棋盘上砸了一个钉子。

腾讯在命运的棋盘上砸了一个钉子。

来源:解雕侠 编辑:JDX22 时间:2023-01-30 20:00:33

很多小伙伴玩家都不太清楚腾讯在命运的棋盘上砸了一个钉子。,那么今天解雕侠小编给大家带来一篇 相关的文章,希望大家看了之后能有所收获,最后请大家持续关注我们!

浅友们,你们好。 我在历史中,我的日常生活是一只驰骋世界的科技大牛。 我会尝试各种姿势,给你讲他们无缘的脑洞和温情的故事。 想交朋友的话请加微信( shizhongmax )。

腾讯在命运的棋盘上钉了钉子

历史上

2013年,腾讯市值突破千亿美元,超越百度,一马当先。

在那一年召开的腾讯WE大会上,人们都在焦急地等待着马化腾的豪言壮语。 他说:

“我们很害怕。 ”

(一)“危险土地”和“迷路动物”

张志东的QQ号码是10002。

自1998年与马化腾一起注册腾讯以来,他一直支撑着基础性的技术架构。 坊间盛传,他写的QQ架构,在用户过亿之前,可以轻轻一笑,轻松扛起。

腾讯16岁时因张志东急流勇退——辞去首席技术官职务。 从那以后,鹅厂的CTO椅一直在灿烂的阳光下空着,一半像一首等待后续的诗。

而这把空椅子,是我们故事的开始。

放手之前,张志东主导做了两件事:

第一,把腾讯最关键的技术团队安顿在技术工程事业群( TEG ),托付给资深部下卢山。

第二,在腾讯设立了名为“乐问”的内部论坛。

这两件事看起来很普通,但其实,他们都和“危险”这个词有关。

表面上直言不讳的卢山,其实很重视技术的细腻。 这种重要性会让腾讯在面临危险时爆发强大的力量。

“乐问”论坛,正是可以发现危险的。 成立第一天,乐问决定了规则。 即使是最普通的工程师也能在鸭子无力的情况下投稿吐槽。 一线战士的声音很难听,但一定是真实的。 总裁答辩每天都只会为这样的声音“刮骨”,不会沉溺于幻影。

但是,岁月会奔流。

危险的脚步也终于逼近了。

2018年,鲁山面前屏幕闪烁,乐问的帖子中写道:“来腾讯就像来技术沙漠一样。”

冲进某新职员——,怀着憧憬进入腾讯公司。 为了早点进入状态,尝试参考其他团队的代码成果,但是推翻了整个公司的系统,他很无知。 居然什么也找不到。

眼前的每一个字都像钉子,刺痛着卢山的心。

为什么会变成这样?

隐喻可能隐藏在腾讯logo ——的企鹅身上。

QQ的企鹅是动物,腾讯的王牌产品微信、腾讯视频、王者荣耀等也可视为动物。

《动物世界》里的剧本是众所周知的。 为了指挥狮群,新狮王必须先打败竞争者,然后准备一辈子面对新的挑战者。

同样,当时,所有从腾讯跑出来的王牌,都是在腾讯内部将类似产品全部击败后,冲进“大草原”,在伉人环境下与他人博弈。

在这样艰难的生存选择下,产生了为世人所熟知的“赛马文化”。

赛马

马想成为第一,不仅要速度,动作也要灵活。 和别人合作的话,会害怕见到“猪队友”。 那样的话,小团队就要自己动手,把所有技术掌握在自己手中。

回到2018年,从卢山眼中的阴影中,我们正好可以窥见整个腾讯的版图:

所有的“动物”(产品)都坐在自己的庄园里,庄园里运转着支撑其主人一切的肥美牧草。 但是,庄园的门被关闭了,谢绝了参观。

沙漠里并不是没有草,只是绿洲被包围在栅栏里。

这让对技术负责的卢山感到震惊。 五指毕竟是一蹴而就的。 随着时间的推移,腾讯技术会越来越分裂,越来越脆弱。

当然,他曾拼命尝试拆除各庄园的围墙,比如拿来“托管”各项业务技术。 但是随着时间的推移,主机队会觉得自己失去了对技术的控制权,没有安全感。

“我用实力打下的阵地,来接手的人的水平比我差,凭什么让我过枪? ’一位员工曾经发了这样激烈的朋友圈。

实际上,卢山的突击多次以失败告终。

强烈建议顾问张志东时不时回卢山,赶紧推进。 卢山心里难受,没有压住火。 “我并不是不知道这件事很重要! 但是,硬按也不可靠! ”

最后,鲁山emo对张志东说:“你不应该退休。” 。

事情发展到这一步,浅薄的朋友可能会提出想法。 不破坏围墙就不破坏不就行了吗? 只要腾讯这片土地上的动物们生动地四处活动,会有什么问题呢?

为什么没关系?

所有的“动物”都知道。 另一个玻璃幕墙耸立在草原周围。 这堵墙是——人的天花板。

普通人不需要QQ号码和两个微信号吧; 每人每天只有24小时。 娱乐休闲时间一定有一定的上限——,消费网络的空间是有边界的。

另外,在中国“消费互联网”的土地上,当然不仅仅是腾讯。 放眼望去,大型制造商“动物们”的扩张空间非常有限。 自然规律非常残酷。 一旦生存空间难以拓展,等待它的将是惨烈的“内卷”宿命。

到时候,各个庄园里储存的这些“牧草”(底层技术)还不够好吃(不够先进)、不够便宜,能否经得起激烈的竞争,谁也开不了票。

其他动物虎视眈眈

两条路排列在腾讯前面。

往左走,坚守原地和挑战者们拼死拼活;

往右走,离开大草原,寻找新的栖息地。

当时( 2011年),手头资源充足的腾讯选择了“想要全部”。

"留下一半军队就地自相残杀. "

“派遣剩下的一半军队举着旗帜远征”。

现在,我们将目光投向这支“远征军”。 手里拿着旌旗的人,并不像想象中那么厚颜无耻的骠骑大将军,而是一张温柔的脸。 他是温泉老师。

这支远征军被称为“腾讯云”。

汤道生

(二)走向“中央草原”

在这里,中断几秒钟,播放一下汤道生的《艺术人生》。

《偏师远征》是汤道生反复讲述的人生剧本。 最有名的是三次:

第一次,从2005年开始,汤道生带着QQ秀和QQ空间突围,QQ不再是一个聊天工具,而是一个大家展示自我的光明舞台。

第二次是2012年以后,微信异军突起,汤道生带着QQ出去,在“年轻人”这个肥沃的用户群体中安顿下来。

而且,这第三次是新闻云。

“腾讯云”的云字比“腾讯”多,所以做的当然大不相同。 简单区分的话,就是两个词:

过去,腾讯一直在研究“技术上的产品”(也就是那些动物)。

将来信息源要研究“产品下的技术”,也就是动物吃的牧草。

那么,了解了这些背景后,我们再次回到2018年的历史现场,站在汤道生身边,我们也能看到他眼中的“危险”。

当他去和企业客户谈生意时,人们一定会问:“既然你的腾讯说要用技术为我服务,那自己的微信、王者荣耀腾讯到底用不用腾达云技术?

他的回答有点害羞。 只使用了一点。

“你自己都不用,为什么让我用? ”

汤生无言以对。 他明确表示,一旦陷入这个恶性循环,腾讯云这支远征军终究也很难为腾讯找到新的出路。

我想这样,浅友们就明白了。 当时,解“汤道生外患”和解“卢山内忧”是一回事。 那就是:

一秒钟也别等!

尽快拆除各项业务的“庄园围墙”!

让他们住在"中央草原"

这时,在腾讯技术堆栈的游戏天平上,汤道生也坚定地站在“统一派”一边,与卢山并驾齐驱成为两个沉重的砝码。

尽管如此,形势还是很微妙,各业务负责人也明白上云对腾讯的意义,但受到各种内部阻力,很难产生共振,同时也在向自己开刀。

这就像七个葫芦童子分头行动,就会被妖精“各个击破”,爷爷实在帮不上忙。

动画片的结尾给出了答案,但成功的方法只有一个。 让7个葫芦童子合体。

2018年夏末,倾听马蹄的兴奋,远处的悬崖正在逼近。 首席执行官马化腾和总裁刘炽平决心紧急召集所有核心业务负责人,召开三天三夜的会议,研究改革方案。 这就是有名的“香港会议”。

走投无路的卢山和汤道生终于有机会在大家面前发表计划和计划。

卢山的建议是,将腾讯的技术发烧友们重组为一个“联合战队”,共同开发积木般的“基础技术模块”,从此所有模块都是代码透明的,腾讯的各项业务所需就是“开源协作”

汤道生建议,“这些积木,各位不要放回‘庄园’。 干脆你们都来“中央草原”,盖一个没有围墙的新庄园。 这是“自研业务上的云”,简称“自研上的云”。

表决时,所有业务负责人一致举手。

历史的天平倾向于“统一派”。

2018年9月30日,大事甫定,腾讯鼓起勇气敞开怀抱,将体内数年积累的暗流向外重组——结构,建立新的事业群。 被称为“930变革”。

这时,俯视着腾讯这片土地,迷路的动物们的眼睛再次变得锐利,葫芦童子们开始合体成为金刚。

自研上云的故事也从这里拉开了大幕。

(三)效率! 效率! 效率!

就像努在塞伦盖蒂大草原上的移动一样,腾讯自研上云无疑是一首充满勇壮与凶险的命运之歌。

在香港会议上,各路业主同意腾云驾雾后,一起对着汤道生说:“那就定个日程,多长时间结束? ”。

汤道生想了想,伸出了手指:三年!

众所周知,腾讯的管理方式并不是“自上而下”。 虽然决定了大方向,但从上到下,这么多人,必须慢慢说服。 人的业务上不来,你也不能强迫。 此外,信息云要做好技术准备,如何支撑腾讯庞大的业务,我们也需要时间。

这本身确实很有挑战性,三年里一定有磕头的成分,但当时无法非常慎重地计算。

汤道生的回忆。

但君子一言,驷马难追。 “三年”说出口的瞬间,倒计时开始了。

好消息是快马加鞭送回腾云。 首先感受到鸭梨山大的是邱跃鹏。

邱跃鹏是腾讯云总裁,也是刚刚成立的云和知识产业事业群( CSIG )的COO。 新闻云服务了这么多客户,迎来了现在最大的客户——美分。 这对腾讯云是非常大的挑战。

同样的压力,很快就会压在王慧星身上。

王慧星是腾讯云的CTO,专门负责腾讯云的技术。 但一旦技术出现裂痕,面对超大客户的重压就一定要跪下。 现在骡子是马,到了出去散步的时候了。

王慧星

汤道生还向腾讯云等人传达了刘炽平总裁的“灵魂折磨”。

搬到云后,腾讯的运营成本会有什么变化?

刘炽平是个温和的人,说话总是说得很委婉。 我把他翻译成大白话,腾讯的各项业务都搬到你腾云驾雾,如果花得比以前多,那绝对不行!

等等! 我们从以前开始就默认说,大家一起云云一起生活一定比原来省钱。 但是。 真的是这样吗?

“真的是这样! ”邱鹏斩钉截铁。

他向我解释了它的原理,所以我用画给你翻译。

刚才还把计算能力的基础技术比作草原,现在再放大一点看看“草原”的内部结构。

我们可以把它分成两层:

1、基础设施层( IaaS ) )。

要支撑数亿用户的产品,需要上千台服务器。 每个服务器都在一刻不停地计算。 打开机箱盖,想象成无数不知疲倦的“工人”吧。

2、平台层( PaaS )。

有些工人只会“笨计算”,需要不同类型的“工头”(可以理解为特定的程序)来动员“工人”去计算具体任务,比如是存储数据、传输消息还是查询信息

有点抽象吗? 举个微信的例子:

“消息模块”是“工头”。

当你给儿媳妇发微信时,你的信息会先被发送到微信的服务器上进行临时中继。 “情报工头”看着这个任务,说:“啊,是我们小组的工作。” 它指挥手下的“工人”,找到你媳妇的微信端口,转发信息。

“盘柜”也是“工头”。

你把照片发到朋友圈了。 这张照片也被发送到了服务器。 然后,微信的“存储工头”动员手下的“工人”放你的照片。 然后,你的朋友们可以刷这张照片。

“信息工头”的结构恐怕是味增。

小心! 这里隐藏着有趣的真相。 无论是微信、QQ还是王者荣耀,他们看起来都是完全不同的APP,但在最底层,为他们工作的“工人”却如胶似漆。

这样的话,就有了一种可能性:

如果把微信、QQ、王者荣耀等腾讯的业务同时放到腾云的“大资源库”上,它们不是可以共享底层的“云工人”吗?

你用完了我来用。 我不用的时候给他用。 反正服务器里的“云工人”只吃电,也不知道累。 就像共享自行车一样,大家一起骑自行车肯定比占领一个人一辆自行车要高效得多。

这就是云计算可以省钱的基本原理。

好了,科普结束,回到我们的故事。

2019年春节过后,游戏、QQ、微信的终端技术团队为了“响应上级号召”,排起了长队来到天上考察。

虽然有些怀疑和重新评估,但大家还是避而不谈,在云上开设了一个测试账号,并放置了家中的“测试用例”。 (“测试用例”是一个模拟成千上万用户“极限同时”的程序,只需承担测试用例,即可在实战中发挥作用。 )

那些叫新闻云的人焦急地等待着。 就像在期末考试中等待老师得分的孩子一样,大气让人喘不过气来。

第一天,沉默,第二天,沉默。 第三天,无数问题箭在弦上。

例如,微信同事发现了重要的事情。 你的“云上工人”为什么比我们的“云下工人”弱? 只有我们工人85%的水平?

这个问题,剑指云计算核心软肋——的虚拟化损失。

正如我刚才说的,云的本质是让大家共享“工人”。 但是,如果直接共享的话,就像一对阿姨一起跳广场舞,这边放“套马的男人”,那边放“苹果酱”,彼此难免会发生冲突,所以在“云工作组”之间形成“隔板” 这个过程称为虚拟化,被隔开的隔板称为“虚拟机”。

云中的虚拟机。 名字叫CVM(Cloudvirtualmachine )。

谁来做隔板的工作? 没有其他人。 “云工作者”必须自己做啊。 所以。 云工作者们得分的15%的力量用于维持“隔板”,留给CVM的力量只剩下85%。

看,虚拟化程序本身消耗了一些资源,所以不会失去剩下的计算能力。

微信的老师摇了摇头,“这可不行啊。

然后,15%的计算能力会白白流失,为了使其与原来的计算能力相同,需要增加15%的虚拟机,这样就没有成本了。

二是在搬迁过程中,必然存在一半在云下一半在云上的“脚踩两只船”瞬间,此时存在两边计算力过大、服务不稳定的问题。

刘炽平的直觉还是准确的,他担心的事情快到——计算理论账要发生的时候,怎么计算都更有效率; 但是,到了实际搬迁的时候,来了各种各样的边角问题,到底效率怎么样,很难说。

微信团队回来半天才提交:

虚拟化损耗不需要为0。 定在8%吧。 可以吗?

CVM的技术人员们打算先走。 心说:这个损耗水平,在地球上也没有人能达到啊。 要不要去火星问问?

但正如前两章所述,自研上云事关系到腾讯接下来20年的生死安危。 如果这个时候CVM退缩的话,无疑会成为将腾讯变成“技术沙漠”的历史罪人。

不要下降,说什么也不要下降!

CVM团队的刘洁欣回忆说,为了解决“8%”,几个月来他们的工程师团队差点拆除了虚拟化系统。

更明确地说,为了提高虚拟化效果,主要是为了使CPU和——把CPU之间的通信时间减少几毫秒,所以老手们必须重新写处理器之间的通信方式。 更夸张的是,还有进入芯片内部指令层的小分队,一个个筛选都得到了优化,即使只节省了几个电子传输的路程,也可以在大规模运算时稍微提高效率。

数以百计的优化经过精心设计,直接导致了5%的虚拟化损失,这一点毋庸置疑。

此图示出了改善虚拟化系统,将不必要的资源减少到最小限度。

但是,CVM的这一群人喘不过气来。

因为。 虚拟化损耗只是众多“乱箭”中的一支。 这个微信的话音还没有落下,但是那边的QQ团队又找来了。 为什么在测试中网络丢包率这么高? 网络的稳定性会提高哦! 那边的游戏队又找来了:我们本来自己配备了很多运输工具,现在上了腾服务器。 有些工具无法对接。 这可不行。

刘洁欣瞬间感受到了强大的人肉DDoS。

现在,我们把视线从混战中移开,回到天上俯瞰一下吧。

2019年腾讯,人心如潮起潮落:

各业务部门的人都觉得很快解决了技术难题,上了云之后效率很高。以后又发现了新的麻烦,上云的效率也很一般。 就这样,充满自信,垂头丧气,一次又一次地摩擦。

但是,在王慧星心中,这样的摩擦并不会一直持续下去。

因为,他手里握着“大杀器”!

(四)星海

2018年,“930变革”前夕,腾云星海团队访问了AMD。

在这次行程中,他们有重要的议程——,决定了腾讯首款自主研发服务器“星海”的定制CPU的技术参数细节。

得到这个AMD的处理器,他们既兴奋又烦恼。

另一方面,测试指标表明,这一代AMD处理器非常满足腾云的要求,有望大幅提高计算效率。

同时,AMD作为服务器处理器还是个新生事物,当时的云计算厂商没有人敢大规模使用它。

如果冒险进入AMD,万一失败,不进入浪费巨大研发资源和宝贵时间的AMD,信息就有可能坐上云,错过弯道超车的历史机会。

从某种意义上说,星海队握着硬币。 这枚硬币的正反两面,决定了腾讯云未来的发展。

是否要冒这个险?

上午,他们决定做。

“技术人员只能相信技术。 我看过技术参数,但是找不到不用AMD的理由。 即使背后有个大臭虫,也必须死活地解决。 ”星海队同学的回忆。

故事回到2019年,就在腾讯CVM被各个团队“DDoS”搞得晕头转向的时候,传来了好消息,定制的AMD版“星海服务器”开始量产!

第一代星海服务器

新闻云的工程师们兴高采烈地跑来跑去。

因为无论是微信、QQ还是王者荣耀,他们都只能作为客户(最多也就是大客户)去市场买现有的服务器。 就像去餐厅点菜一样,只能选择菜单上的菜; 不过,腾讯云作为巨大的计算资源提供商,有能力亲自下厨,制作“菜单上没有的菜”——,并按照最好的技术路线定制服务器。

是的。 这就是王慧星们终年念叨的“大杀器”。

正如汤道生所说:“我没有杀意。 只能一点一点地说服别人”。 星星的服务器是最“香味”的论据。

冥冥之中,“基础设施层( IaaS )上云”的天平首次毫无疑问地向腾云一侧倾斜。

“唯一的问题是时间。 ”刘洁欣的回忆。

每年春节,是腾讯各业务服务器最忙的时候,因为过年要支持玩游戏、发微信、摇红包。 CVM团队特别想在2020年春节扔出这颗“震撼弹”,让业务们坐上星海。

但是星海裸服务器于2019年10月交付给了CVM团队。

因为是新处理器,所以很多地方都需要调整,CVM团队加班花了两个月处理虚拟化系统的匹配。 交给各项业务进行测试已经到了年底,离春节只有一个月了。

大家双手合十,祈祷不要发生问题。

(不是现场的照片。 请感受一下心情)

还是祈祷吧。 没用。

汇总了各项业务的bug,又箭在弦上。

有多少问题? 越需要在Excel的表中记载,就越能清楚。

时间过得很快,CVM们不得不拼命。 他们不得不同时对接n个队伍,手动维护20个Excel表,每天半夜检查每个项目的进展情况并睡觉,第二天起床又要遭受新的“灵魂折磨”。

新年前两周,CVM进入了“至暗时刻”。

为了保证除夕当天全国民众顺利抢红包,微信团队提前对所有服务器进行了“压力测试”。 但是,压在星海服务器上时,报告了意想不到的失败。

大家突然发现,如果星海有什么臭虫,那14亿人会在春节送微信红包。

在这一瞬间,星海实验室、CVM、微信技术团队都没有在意切分是谁的责任。 像下河救人一样,一起跳进了代号汪洋。

很快问题就暴露了。 CVMNIC虚拟化模块存在一个小问题,如果许多虚拟机同时执行大吞吐量任务,NIC将被阻止。

微信技术架构部的负责人Stephen Liu回忆说。

在这种情况下,很多深刻的更改都来不及了,所以我紧急咨询了一下,决定更仔细地分割虚拟机。 它将占用网络的APP应用程序和不占用网络的APP应用程序混合在同一个设备上,以减少网卡上的并发压力。

总之,扛过春节再说吧!

春节前五天,代码修改完毕,微信师傅们开始手颤压迫测量。

10%、20%、50%、100%。 测试通过了!

全国人民红火火的大事,终于平息了。

春节转瞬即至,微信团队和CVM团队的同学们肉体回到老家团聚,灵魂却还在电脑前,一直盯着后台监控,看有没有问题。

除夕至头七,人们拜年、发视频、发红包,一波洪峰冲击微信服务器,却如星海丝般流畅,一点问题都没有。

所有人都长出了一口气,高悬了几个月的心终于被夷为平地。

但是就在这些人准备返回深圳的时候,全国各地的鹅厂的同学接到了通知。 推迟重新开始劳动。

新型冠状病毒大爆发爆发了。

(五)断壁残垣

故事到了这里,就会开两朵花,代表一枝一枝。

在腾讯各项产品投入史诗级抗疫大战的同时,上传信息的“自研上云”工作进入了最艰难的阶段。

先谈谈滕信云吧。

还记得我们的比喻吗? 云计算分为“IaaS”和“PaaS”两层。

前面提到的“升级到云”实际上只完成了第一步。 自研业务共享像“云工人”一样的基础计算能力(云IaaS )。

但别忘了,安排这些云工作者的,仍然是各家的“老工头”。

这有什么问题吗?

打个比方,我住在酒店里,就像是自己的厨师生火做饭,自己的服务员洗衣服晒被子,而不是酒店的客房服务。

你可以说这是住在酒店里的,但是这个。 好像和住真正的酒店又不一样了。

真正的上云,显然是完成第二步。 解雇家里的“工头”,共享“云工头”( Cloud Paas )。

如前所述,“工头”的类型多种多样,包括“计算调度平台”、“数据存储平台”、“AI与大数据分析平台”等。 为了简化认知,这里介绍了最具代表性的一个“计算调度平台”。

新闻云上的计算调度平台使用了最流行的Kubernetes“容器调度技术”,称为TKE(TencentKubernetesengine )。

TKE这个“工头”的原理很有趣:

想象一下。 它就像一个“泡泡机”,把“云工人”包裹在一个叫做“容器”的泡沫里。

任务a来了,把任务a的代码塞进泡沫里,让工人做。 工作结束后,突破泡沫,工人被释放了。

下一秒任务b来了,TKE再吐一个泡泡,把任务b的代码塞进去,让工人继续。 像这样重复。

从远处看,每秒钟产生无数泡沫,无数泡沫仿佛在寂灭。 孙悟空吹无毛,左边出百万猴子孙子,右边好像被无毛回收了。

TKE的“魔术”大致是这样的。

以容器调度为核心的该技术体系可以大大提高计算资源调配的效率,并在短时间内扩展和缩小容量。 它也称为“云原生技术”,因为它非常适合部署在云中。

如果必须进行比较的话,“云原生”和“非云原生”的技术差距,就像触发枪和半自动步枪的差距那么大。

怎么样,很厉害吧?

但是,发生了问题:

与向云的第一步(使用CVM虚拟机)相比,向云的第二步(使用以TKE为代表的云本机技术)完成的愿望还不够。

为什么不用? 王慧星逐队跑,询问大家的困难所在。 绕了一圈,反馈很残酷:

在过去的十几年里,每个业务都在自己的“计算调度模块”中创建了很多定制的功能来服务自己的用户。 如果换成标准的TKE,很多功能都无法实现。

例如,我原来的半自动步枪上有刺刀,可以打开罐头。 你现在让我换机关枪。 我知道机枪更好,机枪上有刺刀吗? 可以打开罐头吗?

平心而论,别人说的也有道理。

遇到过尴尬的情况:大力推广标准化技术可能会降低对微信、王者等国民APP用户的服务。 那绝对不行。 如果不用力按,腾讯自磨而上的进度条可能会一直卡在50%上,留下残破蜻蜓的墙壁。

这个结怎么破?

回到历史现场,我们再打开腾讯总办公室的大门,听听2019年腾云对总裁刘炽平的重要报告。

在会议上,因为大家都感觉到了上TKE的困难,腾讯的同事特意使用了“迂回话术”,说:“如果使用CVM,那也算是腾讯了吧。 ”。

他们心里想的是,在青山,下车后慢慢推,总会有办法的。

但是,旁边的人听了他的话,突然声音打断说:“不行! ”

大家一齐看向他。

这个人是鲁山。

卢山

卢山输出刘炽平,给他劈来揉去,讲了很久“云原生”的原理。 “如果不采用云的本机技术,只使用云上的虚拟机,就无法享受云的核心优势,最终,腾讯的技术还是支离破碎,想进入云是失败的! ”得出了结论。

卢山心烦意乱,话很重。

但刘炽平完全明白他的意思,并立即明确表示支持。 所有业务都要走到“云母语”的第二步,才能上云。 各项业务必须合作!

时至今日,回想起来,卢山挺身而出,呼喊着无比重要的事情。 它直接扶正了自研上云的船头,远离浅滩的暗礁,节约了金子般的时间。

其实,在腾讯内部,大家都听过鲁山的名言。 “向着死亡帮助云”。

这句话的背后,有一个非常感人的故事。

如前所述,早年为了统一腾讯的技术,鲁山的大多数突击都没有成功。 唯一成功的少数是通过汤道生领导的SNG (也就是说,当时有QQ和QQ空间的部门)实现的。

那时,汤道生刚刚开始了他的第一次“远征”,带领QQ空间突围。

在QQ空间里,隐藏着很多人杀害马特的“黑历史”。

众所周知,QQ空间的重磅功能之一是“相册”。 相册的基础技术是“存储系统”。

汤道生本身就来自数据库,是当时赛马文化丰富的腾讯。 他可以领导团队自己建立存储系统。 但他想了想,把机会让给了卢山领导的TEG将军。 要说为什么,那是因为统一技术基础对腾讯更有利。

多亏了汤道生的历史担当,TEG有了磨练存储团队的机会。

随后,存储团队负责人谢明带领技术战士们,不仅在存储系统上对大部分产品进行了腾讯推广,而且成为人人称赞的技术基础,随后,腾讯CDN、数据库等全球领先的基础技术应运而生。 (有关此内容,请参考《腾讯的硬盘里,有中国互联网的昨天、今天、明天》、《腾讯数据库的三场战役》。 )

这是2016年腾讯存储团队在办公室拍摄的“春保”的照片。

卢山钦佩汤道生的构图,是汤道生在第三次“远征”之初,说出了“向死助云”的话语。

卢山不仅这么说,他还是这么做了。

在得到总事务局的批准后,卢山将协助云的工作交给了“运营管理部”。

运营管理部手持“尚方宝剑”,专门评估各项业务计算资源使用情况,认为不符合标准的,运营管理部有权让你纠正。

运营管理部负责人埃里克创建了“云成熟度模型”,每季度评估所有业务云固有程度,获得高分,不仅获得奖状,还获得奖金。 如果迟到了,当然会有压力。

各条业务线中的“抵抗派”,技术委员会认为这是一场真正的游戏。

这是2020年的开源联合治理奖

卢山对云的“死亡之助”,简直让人着魔。

当天,卢山遇到了20年前的同事,平台内容事业群( PCG )的技术负责人曾宇。 他转过脸去。 “兄弟,快去支持TKE! ”

曾哈哈笑着说:“你为什么不支持? 我对制作容器的技术同学说。 要继续制作容器就加入TKE团队。 否则,就在内部找地方。 如果找不到的话就出去。 无论如何,我们PCG都不能继续保留自己的容器平台! ”

听了这话,卢山反而有点蒙“啊? 你们支持到这里了吗? ”

一起来20多年的老同事,后来管理了各自的店,交流少了,但感觉大家的心其实是一样的。 很多老腾讯人嘴上不说,关键时刻都在默默地推进。

卢山感慨。

曾宇

宜将奋勇进逼寇。 为了纠正更多人的想法,此后不久,卢山在一次内部大会上,在曾宇面前又把这个故事告诉了现场的基层同事。

也许有一天,我们会离开腾讯,但如果那时我们回头,留下了很多技术上的残垣断壁,我们的心会不会痛?

卢山说。

然后,他看了一眼身边的曾宇。 曾宇眼中有光辉。

老战友卢山不遗余力,汤道生当然是百倍的努力。

“930变革”后,在卢山和汤道生的共同推动下,腾讯成立了神秘部门——“技术委员会”。 该部门由各业务的技术负责人组成,相当于“分布式CTO”。

技术委员会和各部门技术人员的照片

而且,在技术委员会之下,设立了很多Oteam,每个Oteam都对应着一项技术。 也就是说,是我们比喻中的"工头"

teOteam是众多oteam中的一个,是非常重要的一个。

总的决定“云母语终于可以上云了”后,汤道生也诚恳地对大家说。 “上TKE有什么困难的话,请拿来Oteam例会讨论。 我们一定会为大家服务,找到两个完美的技术方案! ”

私下里,汤道生还告诉腾云同学,兄弟团队遇到自研上云相关技术问题,一定要100%给出答案,并像对待外部客户爸爸一样为腾讯兄弟团队服务。

这样,汤道生的诚信感染了所有腾讯云的同事,腾讯云的同事们又把这份诚信传递给了他们对接的业务线基层团队。

一点一点,一天一天,没有大投票,但大部分腾讯人静静地站在“彻底腾云”的一边,反抗的声音越来越少了。

“云原生”的天平也渐渐倾斜了。

腾讯的大小数百个业务,就这样开始了轰轰烈烈的云原生改造。

(六)机枪配刺刀

腾云容器产品中心负责人邹辉内心冰火两重天。

另一方面,集团以百万雄师下江南之势推进各项业务向TKE进军; 另一方面,邹辉不想让任何人觉得自己团队里的兄弟们都是躺在政策下吃红利的人。

他们必须用技术证明TKE是最好的选择。

一个也没有。

但是,为每个业务定制的“刺刀”,真的能插入到名为TKE的机枪中吗?

“一定没问题! ”

顶嘴的人是于广游、TKE的负责人,说起容器的核心技术k8s(Kubernetes ),他的眼中闪耀着信徒般的光芒。

TKE不是人们想象中的“坚固且不可改造”的平台。 我知道K8S的技术。 它就像一个核心操作系统,兼容性非常好。 任何定制的需求,都有一定的“插件”形式,插入我们的容器平台的方法。 我相信K8S是一统江湖!

于广游说。

各团队的中坚正在封闭地开发TKE

最先找到的是腾讯游戏。

游戏其实是腾讯所有业务中软件结构最特殊的一个。 为什么呢? 由于电子商务和社交等网络业务,它们可以被分割成标准的“微服务”模块,分别装入容器中。

《王者荣耀》和《和平精英》等游戏业务,后台服务器模块很重,很难分割成比较小的微服务器模块。

另一方面,游戏服务的镜像一般较大,也有达到10GB以上的。 这样的大镜像,如果在部署时从集中的仓库下载,“仓库大门”就会成为一个很大的瓶颈。

邹辉他们和腾讯游戏的老师傅在Oteam会议上多次讨论,决定建立“镜像分发系统”。 当一个容器启动时,从相邻的容器中提取系统镜像,而不是访问同一个中心点。 这将大大提高容器的使用效率。

游戏在这里刚解决了一两个问题,那里微信又来了。

微信自研的集装箱调度平台名为YARD,但该系统与TKE有很大的区别。 一个显著的差异是,例如当时为了保证稳定的服务,每个容器对应的IP是固定的。 随着历史的变迁,“固定IP”也被保留了下来。

简单来说,一个容器关闭后,必须当场复活才能继续服务。 否则,会发生错误。

但是,在K8S的哲学中,这是“不当操作”。 一个容器关闭后,必须在某个地方复活。 这样就可以实现灵活的日程安排。

两边的老师傅反复切磋,最终微信团队决定进行改动,以接近K8S的主流技术。

他们开发了插件,在容器上绑定了灵活的地址。 这样可以在不破坏微信历史设计架构的前提下实现容器的异地重启。

于广游对我说,在解决这些问题时,他的心其实一直在“滴血”。

作为K8S的原教旨主义者,他觉得所有的插件都很重视这个技巧。 “机枪上刺刀”在他心中不是云本来的样子。

有时,在晚上回家的路上,我一个人很郁闷,甚至萌发了“这些人不是故意在干我吗”的疑问。

但在与业务团队开了几十次会后,他逐渐改变了主意。

业务方面的老手并不是故意为难。 因为技术的成长就像生命的进化,在历史的特定阶段,为了向用户提供最好的服务,只能如此设计技术。 而且,随着产品持续发展,这些旧框架已经成为产品的一部分,很难推翻。

技术终究要为人服务。 渐渐地,我也长大了。 我仍然相信K8S技术是未来,但是技术成熟的标记,它不是和更多的旧架构兼容吗?

于广游感慨。

当然,上面举的例子,只是九牛一毛,比如TKE团队和游戏团队一起,制作了适合Windows的容器; 与微信团队组建了多个三园区高可用性集装箱调度架构等,但细节复杂,在此不做介绍。

其实,从另一个角度来看,这些细致繁琐的技术点,正是腾讯这一人群在20多年的时间里服务了10亿用户的宝贵经验。

在腾讯内部,这些技术有一个共同的名字:“海量之路”。

海量的道路

向TKE一点一点地填充每个业务细节模块的过程,是将腾讯的“海量之路”送上云端的过程,也是将腾讯近二十年的“传家宝”送上云端的过程。

我不知道你是否考虑了问题。

你头两年一直在用微信,在微信底层静静交换技术的时候,我们好像什么都没有感觉到啊。

借用张志东的话,大众传媒服务的核心是“如果出现不可抗力,技术可以最大限度地减少用户体验”。

微信基础架构的同事Edsel告诉我,为了实现用户的麻木,将微信迁移到TKE的过程可以用“事前主义”来表达。

我们制定了详细的计划。 每次迁移,监控系统都备受关注。 从有指标的逻辑出发,可以判断为迁移失败,并返回到旧的YARD系统。 即使整个迁移过程失败,微信用户也不会有任何感觉。

他说。

还记得我们之前说的“花开两朵,露出一根根树枝”吗? 现在轮到另一根树枝了。

就像贝多芬的《命运交响曲》一样,最不朽的音符恰恰是从命运中向你挥拳的瞬间。

2020年的春天,就是这样来的。

(七) 2020年春天

就在CVM和微信团队紧张盯着星海服务器春节档的时候,疫情已经来势汹汹,越来越多的公司通知员工推迟复出,远程办公。

结果,在线会议的用户数量急剧增加。

当时的腾讯会议,一共只有几十个人,团队原来的计划是慢慢来,一点点发展市场,做大做强。

但是鹅,瘟疫来了,不能慢慢来。

从正月开始,腾讯会议的在线人数每天翻两番,原本为5万人设计的系统架构,在10万人、20万人、40万人合并的带动下,持续上升。

最先承担不起的一定是IaaS层的计算能力资源。

这一事件在几天内震惊了总干事,表明各团队的合作在最短的时间内扩大了。

但是,虽然在程序上得到了批准,但是在技术上能实现吗?

粗略估计,每天需要添加数十万个核心的CPU资源,目视只能是CVM的虚拟机。

于是,腾讯历史上从未有过的奇迹开始发生。 腾达云上所有剩余资源全部被唤醒,统一成支持腾讯会议的虚拟机模型,大腾讯同时填满了带宽资源和计算能力资源。

>

即便这样,计算力还是有缺口。

慌忙中,运管部门看到了库房里还有刚刚退役的几千台旧机器,这时也管不了那么多,旧机器总比没机器好。赶紧又拉回机房重新上线,接入腾讯云。

就这样,巨大的底层计算力像无尽的弹夹,填进了腾讯云的枪膛,如火舌一般奔涌而出。

工人这一层总算勉强撑住,接下来,考验的就是工头了。

腾讯会议使用到的核心模组就是“音视频实时通信组件”,负责高效传递会议各方的图像和声音。

这个组件在腾讯里名叫 TRTC(Tencent Real-Time Communication),他的负责人是薛笛。

薛笛早在手机QQ刚推出不久,就开始研发语音通信功能了,算算这已经是多少年的“老革命”了。

可是,老革命也遇到新问题。。。

这么疯狂增长的用户潮,TRTC 也没见过啊。很快,架构就出现了瓶颈,无法继续放大。薛笛赶紧带队杀向代码的战场,紧急升级架构。

“当时的感觉,就像站在洪峰中抗洪。”他回忆。

可即便是这样,TRTC 开发团队的人数还是有限的,眼看工期就要延误。。。

就在这时,腾讯各个技术团队的负责人听到腾讯会议爆了,全都主动请缨,想要给予技术支持。

史诗级的画面出现了:

已经赶回深圳的人,就在办公室吃住开发;仍然在老家的,就远程贡献代码。

擅长做分布式的就做分布式,擅长做负载均衡的就做负载均衡,擅长流量调度的就做流量调度。

所有人都毫无保留地把毕生经验和珍藏代码奉献出来。

多个团队的成员一起帮腾讯会议扩容(屏幕上还有远程的同学)

这个瞬间,被大家吐槽了十几年的“独立庄园”不见了,出现在眼前的人只有一个身份——“腾讯人”。

升级后的 TRTC 代码被紧急部署在腾讯云的100万颗核心上,在腾讯云遍及全国的网络专线中纵横脉冲。

虽然很多模块是临时加增的,来不及仔细整理,但腾讯会议却没有给腾讯技术人丢脸,它彪悍地撑起了数亿人在网上的图像和声音互动,进而撑起了千万家公司跨越大江南北的会议沟通。

在各自冰封的城市中,人们通过电流看到同事们熟悉的脸,听到同事熟悉的声音,一切也显得并没那么糟糕了。

由此,社会生产得以一点点复苏。

2020年迎接武汉员工返回深圳时的照片

尘埃稍稍落定,从硝烟中走出来的腾讯人相视一笑。虽然彼此无言,但每个人都确凿无疑地感受到,有些东西永远地被改变了。

仿佛空气中弥漫起新鲜的氧气,再也没人怀疑“开源协同”和“自研上云”的意义,曾经无比坚固的“庄园围墙”就这样如冰雪消逝,再无人怀恋。

其实,这世界上哪里有围墙,所有的围墙不过是在人心里罢了。

腾讯会议,就这样阴差阳错地成为了腾讯第一个诞生在云上的应用。它用自己核弹般的爆炸证明了云计算的狂暴力量。

由此,自研上云吹响了总攻的号角——最难啃的骨头,数据库、大数据平台、AI平台等等都纷纷开始了摧枯拉朽的云上迁徙。

(八)命运棋盘上的一颗钉子

如果从自研上云正式启动的2018年底开始算,2021年底应该是汤道生的“三年之约”到期之时。

他的承诺实现了。

站在命运之河的对岸回头看,汤道生却惊出一身冷汗。

过去三年,互联网行业环境已经发生了天翻地覆的变化——业务受阻、用户饱和、监管趋严、估值下降,过去的那片草原一夜之间寒霜降临,“动物们”悉数进入严冬。

如果“自研上云”不是此刻完成,而是此刻才启动,难以想象寒冬中的腾讯将付出比现在多几倍沉重的代价。

由此观之,“自研上云”的过程,仿佛历史的机会之门微微张开了窄缝,腾讯刚刚狂奔而过,回头望,大门已经紧闭。

腾讯众将逃过了命运的绞杀,正如一头角马冲过鳄鱼环伺的马拉河,回望血色的河水。

“确实很庆幸,当年做了这个选择。”汤道生感慨。

“自研上云成功之后,你们有没有搞一个庆祝会?”我问汤道生。

“好像没有诶,我们就这样每两周一次总办会议,每次都复盘、微调,就这样过去了。。。”

汤道生的回答很腾讯。

在这家公司的历史上,你最难找到的就是“轰轰烈烈”。翻开历史,这群人似乎总是在问题还没坏到不可收拾的时候,就聚在一起研究解法;而在波涛平复后,他们又马上恢复到平凡的节奏里。

他们小心翼翼地不让自己陷入“步兵趟雷、万岁冲锋”的境地。

这样的“无趣人生”,属于普通的腾讯员工们,也属于总办的这些“老男孩”们。

虽然从外表观看,企鹅还是企鹅,并无任何异样;但如果你剖开它的躯体,内部已经移髓换血:

腾讯游戏技术运营部负责人刘栖铜告诉我,过去一到逢年过节或者宣传节点,腾讯游戏就要提前一个月申请购买服务器,扩充资源;重大节点过去一个月,才能慢慢把服务器撤下来。

而现在,云上扩缩容只需要几个小时——明天要扩容,今天在腾讯云上点几下按钮就OK。

腾讯会议的技术负责人陈健生告诉我,在2022年新的一波疫情来临时,腾讯会议已经承载了千万级并发,这个数量已经远超2020年的量级。但这次,整个团队心情平静,完全不会有上次的惊慌。

微信技术架构部负责人 Stephen Liu 还记得,当年北京下了一场大雪,人们纷纷在朋友圈晒图就把朋友圈的存储系统给打挂了;如今存储系统跑在腾讯云上,也不会再出现容量不足的情况。

“运维起来就像自动驾驶。”他说。

腾讯云清远数据中心,是它在国内最大的数据中心

微信视频号后台开发工程师 Bok 告诉我,过去使用云下系统,一次更新发布至少要一个半小时,但是上云之后,直接销毁旧容器,拉起新容器,全过程只用35分钟就能完成。

2022年,微信视频号异军突起。巨大的放量面前,直播、短视频却没有遇到瓶颈,也为腾讯云的技术做了最好的证明。

虽然腾讯云交出的答卷很圆满,但邱跃鹏仍然觉得不够。

“腾讯内部的业务大多都是互联网业务,而腾讯云对外服务的有很多都是实体行业。怎么把服务互联网的经验拿出来服务他们,是我们一直要思考的。”邱跃鹏说。

为了让这些经验适应更多行业,王慧星的眼睛必须穿透服务器,进入最底层的板卡、芯片和电流。

从虚拟化的角度说,现在我们已经做到把虚拟化交给专用的芯片来做,虚拟化损耗已经降低到0%。

从计算密度的角度说,现在很多人工智能服务器的耗能很高,如果能有办法抑制GPU芯片的空转,那么大型数据中心就还能把能耗降低一大截;

从芯片指令集的角度说,其实云计算日常只用到了所有指令集里的一部分,同样是计算“1+1”,普通指令集也许需要2000次运算,但经过优化的指令集,也许只需要1000次运算。这样就能一下子把能耗砍掉50%。

从云上开发的角度说,我们还可以提供更多云上的开发工具,让大家不用写代码,拖拖拽拽就能开发出下一个“腾讯会议”。这样,技术就不再是创意的绊脚石,任何人都有机会在云上做出国民级的应用。

他说。

他关心的,其实还是云计算的根本命题——效率。而云计算的效率,怎么关心都不过分。

我们不妨把目光重新投向那片草原,那个兵分两路的腾讯。

那些留在寒冬中“动物”们,只有不断提高计算效率,才能得到更多“养料”,从而更好地服务消费者,在越来越惨烈的生存大逃杀中走到最后;

而带队远征的腾讯云,也必须依靠最高的计算效率,才能翻越“玻璃幕墙”,可以在更广阔的世界里提供“牧草”,支持国计民生和无数有梦想的创业企业。

2022年,汤道生仍然像从前一样冲在一线。不是见客户,就是在见客户的路上。而这次,面对用户的诘问——“你们腾讯产品是不是跑在腾讯云上”,他的答案是:是!

至此,汤道生的第三次远征跳出了“玻璃幕墙”,在9年的念念不忘后,终究听见回响。

“动物”和“牧草”的比喻,贯穿了这篇文章。其实,我一直没有明确回答一个问题:腾讯为什么不老老实实做“动物”,而是心心念念要做“牧草”?

因为我想把这个问题留给腾讯的创始人马化腾亲自回答。

在接受《故事硬核》采访时,马化腾曾经说过一段话:

如果一个非洲大草原,你是一群动物,你没有了,人家还会换一批。但如果没有草原、没有雨露,没有生态中的一环的话,那就是不行的。所以要到这个程度,才是我们的价值。

由此可证,命运如棋局,任何一种动物,都只是棋盘上的棋子,随时可以被吃掉,被牺牲,被清除;而当你成为草原和雨露,你便不再是棋子,而是命运的棋盘上钉下的一颗钉子。

腾讯云,就是那颗钉子。

(九)星星们

汤道生也有被刺痛的瞬间。

不是腾讯云丢了大订单时,也不是自研上云遇到阻力时。而是在乐问上看到基层同事对云发出特别“狠”的批评时。

批评当然没问题,但是汤道生敏感地意识到,当人们开始用“狠话”的时候,一定是沟通出了问题。

每逢这时,他就更加努力地去疏通沟通渠道,解开误会。他于是定了规矩,“内网上的吐槽,腾讯云必须在一小时内给出回复和解答方案”。

“后来,乐问上有夸你们的帖子吗?”我问。

“乐问上好像不夸人的。”汤道生笑。

但确凿无疑的是,对腾讯云尖锐的批评减少了。

即便有批评,评论区也会有其他团队自发上去解释,帮忙澄清真相。每当看到这样的评论,汤道生就会心底涌过一道暖流,这比什么都开心。

因为这是他心中腾讯该有的样子。

乐问上的一个帖子

在和我聊天的时候,卢山经常会把2018年口误说成“98年”。

1998年,也许有的读者还没出生,但那一年,却是卢山从中科大计算机毕业的年份。

如果遥想当年,大学毕业的卢山也和如今的年轻人一样,对未来充满憧憬,热切地想要发光,也对人生的种种锋利有些许怯场。

1998年,也是腾讯成立的年份,那时的马化腾还在勤勤恳恳扮妹子,吸引QQ最初的100个用户,并不知晓几年后自己会差点卖掉烧钱烫手的腾讯,更不知道工商注册时唯一可用的“腾讯”二字有机会在中国互联网的历史上留下浓重的一笔。

1998年,也恰好是汤道生从斯坦福大学硕士毕业一周年,每天用英语跟美国同事研究数据库技术的他,不曾想到自己将要回国,辗转参与到云计算的伟大历史进程中。

但是,岁月奔流。

2022,卢山终于打破了腾讯的“庄园藩篱”,硬是把开源协同写进了企鹅的基因,把“技术沙漠”的帽子抛进了大海中央;

2022,喜爱幻想的汤道生也完成了华丽的转型,把手中的萌萌哒的QQ安放在时代的河流中,抽刀挥旗,带领腾讯众将找到新的丰美草原;

2022,张志东没有回来,但腾讯 CTO 的椅子却不再是那首“等待续句的诗”,“技术委员会”的新铭牌在阳光下星点闪烁。腾讯的技术理想,将由这些穿过时光荆棘的人共同守卫。

2022,腾讯“自研上云”轰轰烈烈的“迁徙之歌”也度过了高潮部分。大草原上奋蹄扬起的烟尘背后,“马拉河”里的鳄鱼也慢慢潜入水下,等待下一次咬断猎物喉咙的时机。

草原的黄昏下,生命的舞剧经久不息地上演,其中具体的面孔也许终会被人遗忘,但背后对于现状的不甘和改变的勇气,却是和草原一样永恒的存在。

2013年的“WE 大会”上,说出“我们很怕”的马化腾还分享了一个小故事:

在腾讯上市之前,他偶然和同事聊起来,发现很多人也和自己一样喜欢天文。于是感慨,现在不仅没有时间观测星空,光污染还特别严重。

说着说着,他们开始幻想,有朝一日,能不能在远处安装一个望远镜,然后通过信号连接,在家里的电脑或手机上就能观测天文。

当时大家觉得这就是天方夜谭,谈资罢了。

然而,几年过去,有位同事真的跑来,说自己在云南买了一个民居,在里面专门搭了天文台,代码远程控制,画面自动传回。

马化腾很有感触。他的结论是:现实残酷,偶尔会怕,但有些火花无论如何不能磨灭。因为热情恰是人们坚持的动力。

人总有无奈。马化腾喜欢星星,刘炽平喜欢火箭,汤道生喜欢哆啦A梦——但可能很长时间内,腾讯没办法造火箭,更造不出时光机。

但把“腾讯云”作为这个阶段自己人生命题的答案之一,也未尝不可。

毕竟,在神降临前的日子,凡人的双脚被埋在土地中,也许究其一生都要在沟壑纵横的棋盘上和残酷的命运作战。

可是,每当凉夜降临,你抬头看,星星一定会在那等你。

它们如彼闪耀,它们如彼宽容。

成为草原

再自我介绍一下吧。我叫史中,是一个倾心故事的科技记者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax。

哦对了,如果喜欢文章,请别吝惜你的

“在看”

“分享”

。让有趣的灵魂有机会相遇,会是一件很美好的事情。

Thx w

ith in Beijing

上面就是腾讯在命运的棋盘上砸了一个钉子。的全部内容了,希望能给广大手游玩家玩家们带来一些帮助,更多关于的内容,尽在解雕侠!

新御书屋  自由下载-新御书屋  自由「v9.1.4」官方版下载

新御书屋 自由下载-新御书屋 自由「v9.1.4」官方版

游戏 159MB
如何下载并安装新御书屋 (御宅屋) 自由新御书屋 (御宅屋) 自由是一款备受欢迎的漫画阅读软件,提…
立即下载

相关攻略

猜你喜欢