隧道窑厂家
免费服务热线

Free service

hotline

010-00000000
隧道窑厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

虎嗅夏季FM节腾讯蒋杰实时计算腾讯用它来干嘛

发布时间:2020-07-21 10:47:20 阅读: 来源:隧道窑厂家

注:本文来自腾讯数据平台部负责人蒋杰在2014虎嗅夏季F&M节上的演讲,虎嗅进行了整理、编辑。

非常感谢虎嗅给我这样的机会。我今天主要讲实时计算的框架和发展,还有应有的场景,还有在腾讯这样的企业是如何应用的。

为什么要做实时计算?

无论是华大基因,还是很多硬件的创业者,他们讲述的话题有所不同,但是各自的话题又都离不开数据。21世纪就是本数据书,如何更好的利用和发现数据,这需要有实时计算的体系。

腾讯实时计算的平台是根据腾讯的效果广告的发展而来的。我们的效果广告为什么要实时计算?因为当你的数据量级在几百亿的时候,它要基于消息队列的模式实现消息队列的延续的过程。在腾讯整个业务的发展过程中,实时计算能为我们解决很多问题。

所以海量数据跟实时的结合是对腾讯实时计算的挑战,而10毫秒快速反应则是我们努力的方向。

比如你一个用户绑定了Q—zone,根据这个用户在腾讯里面的关系链,他的关系加起来是几亿的模型,加上用户量有8亿,8亿用户之间的关系,还有你的点击行为,包括用户的浏览行为,根据行为的过程我们会做一些广告的投放,精准投放的模式,这就需要有海量数据跟实时的结合。因为只有10毫秒,你才能做这样的体系,并且量基本是每天接近300亿。

实时计算的应用场景有哪些?

对于实时计算来说,它的应用场景有很多。

在社交领域它可以实时感知你的好友动向,大家都知道玩什么东西,这已经在很多社交领域有了很多应用。还有电商,淘宝、京东等大型电商的橱窗广告都是用这种模式做了。在游戏行业,特别是预测用户游戏的感受,当你多次失败的时候如何预测流失风险,还有游戏玩到一定程度的时候,你想过关用什么道具,帮你推荐相关的道具这也是一个应用。营销就不用说了,根据实时的地理位置信息,还有商家的信息。

基于这样的平台,我们每天已经支持了1万亿的实时消息接入,大概是2.6万亿实时计算,我们每次写入的存储大概在5千万亿,基于这样我们覆盖了很多业务,也应用到所有的领域。

怎么做实时计算?

很多人说你是怎么做的?我们还是跟传统架构的延伸革命,我们把所有的资源,采用普通的互联网架构,用我们的硬件资源和技术管理起来。

这里面主要是三个模块。

一个模块是做实时采集。

全球200个top点的数据实时采集过来,延迟要达到1秒钟之内,还要做加密,压缩,节省网络流量。在上面要做很多计算引擎,做一些动态的自学习算法模式。

还有一个是做存储模式。

有些消息是要保留的,必须要把它存下来。这个模式有一套技术框架,基于这样的技术框架,我们的应用领域可以覆盖很多。广告是一个,微信的监控也是一个。比如在一个小国家,他用微信非常慢,如果出现了故障,我们可以比运营商还早发现,并且提供报警。

最后一个是基于实时分析与精准推荐。

对互联网来说,计费通常是一次性行为。如果你交电费或者电话费,这次不成功,你下次还会交,因为你需要付费来维持服务。但对于游戏来说,我要打一个关卡,这并不是一个必然的事件。如果游戏过程中我需要付费,但付费不了,那下一次就不会付费了。所以,类似游戏这样的业务对我们整个计算和实时功能要求非常高。

因此。我们用实时分析的模式解决实时的问题。每一个标签的行为,包括耗时都可以被统计进来。同时,我们将实时计算用于精准推荐,精准推荐是实时计算最好的一个应用点,也是一个能够让企业真正有价值的地方。这样我们才能够将用户的体验做到极致。

机器人编程入门

python基础教程

前端开发主流框架

Spark2.x