一、AI在视频广告中的应用:
1、广告的目的:
在一定周期,让尽可能多的人产生消费。
长周期:品牌广告(比如阿迪、nike等品牌),短周期:效果广告(比如平时打开网页出现在眼帘的广告)。
消费行为:购买、激活、安装、下载、点击。
2、如何传达消费价值:
匹配需求:用户行为(搜索、浏览、点击等)、统计特征(性别、年龄、地区等)
能够将用户想要看的广告适时地推到面前,让广告主的广告得到合理的投放。
展示价值:场景(点位)+效果(索引)
场景化投放:如用户台风天在大街上伞被吹走(这种场景),如果当场有个广告关于能够抵抗12级台风的伞,是很合适的。
3、AI(视频理解方面)的主要工作:
生成/推荐点位:场景
辅助创作素材:效果
4、点位
(1)场景化示意
创可贴:广告内容和视频内容十分贴切,比如图一中吃饭场景付费是采用支付宝,则视频中会出现支付宝支付界面的广告。
前情提要:图二可以看到人物下方会有饮料的广告,这广告可能和前情提要有相关的,比如这里哭得稀里哗啦的要来点饮料解渴。
video in:视频中后期加入广告,在视频中剪辑进入一个雪碧广告等。
(2)视频广告如何实现场景化
商业价值点=有消费需求的点位【找到这些点位,然后打上标签】
聚餐--想喝饮料、地铁---听点音乐、海滩----希望防晒、亲吻---来束玫瑰
---视频分析(如果要找到有商业价值的点位)
对象【人脸识别、姿态识别、服饰分类、目标检测、表情识别】
事件【行为识别、语音识别、意图理解、事件分类、文本挖掘】
场景【场景识别、地标识别、调性分析、音频分类、音乐识别】
从各个维度来对视频分析,给视频打上标签,这些标签可以在之后被采用做推荐、匹配广告等。
但如果从这些识别中获得的标签可能不能很全面地给视频打上正确的标签,如在视频中用户常希望两个男女主角有浪漫的场景,而不是男二女二,这就涉及到人物和场景的交叉关联性。所以希望能更好的去训练更好的标签。
----视频图谱(怎么计算标签的重要性和相关性)
规则&算法----业务标签、语义标签
节点属性&当前视频内容识别---标签排序
利用图中的标签与标签的距离---提升精度
---VideoIn选点流程
二、360广告召回模块
1、展示广告业务介绍:
(1)媒体方在曝光之前将流量发给ADX(相当于将流量交给ADX进行广告拍卖),360自身也有一个AD Exchange(360 Max)。
(2)ADX发流量给DSP来对这次曝光进行竞价(360自身也有一个360点睛DSP)
(3)广告主对自身的需求设置一些广告投放返回给DSP
(4)DSP会根据这些广告投放来匹配相关的候选集,将候选集返回给ADX,DSP响应时间很短,在100ms左右
(5)最后ADX选择出价最高的DSP投放
2、常见的展示广告:
(1)广告侧边栏:具体投放广告的详情页
(2)整体的开屏广告:品牌广告
(3)信息流:嵌入新闻上下文中的广告,和文章内容形式保持一致
3、展示广告架构
(1)流量是从ADX中发给DSP端,
(2)DSP拿到流量之后进行Ad search Root和Ad Search Leaf两个模块,
Ad search Root是对流量进行识别,判断其为哪种类型流量,比如是属于kidword?信息流?banerge流量?,
然后将判定的流量类型交给Ad search Leaf【对广告进行召回】,这个模块选出相匹配的广告候选集,
之后再交给Ad Selector模块【精排】,即对广告的CTR或者CVR进行预估,选出top K个广告返回给DSP server。
(3)将一些广告点击、曝光、后序的日志写入kafka,用来做日志落地模块和反作弊。
一部分的日志用来做日志落地模块,分为线上和线下。
离线:将日志进入ETL以及训练样本模型。
一部分的日志用来做反作弊,比如实时的曝光反馈。
4、检索召回模块:
(1)DSP提供的一个流量请求Request包含(用户、context)。
(2)广告主设置的广告投放存在Ad meta db中,然后建成相关的广告索引(ad index),投放更新之后才会实时更新这个索引
(3)RTDB是根据用户和context上下文进行用户标签的实时更新和线下处理
(4)召回模块:结合Ad index和RTDB选出候选集
(5)过滤模块:根据规则、黑白名单、广告主的预算、pacing进行过滤等
(6)粗排模块:
(7)精排:LR、FFM……
5、召回通路(多链路召回):
基于上下文:
图片(内容页:一个明星穿了哪件衣服,根据这件衣服投放哪件商品广告),做法:将图片向量化,计算广告商品和图片向量的相似度。
标题(文本NLP操作),基于文本召回
lbs(广告主自身设定某个区域,希望在该区域【标签】内进行投放)布尔召回
基于用户行为:
兴趣(根据一些profile打上一些用户兴趣标签):布尔召回
query(360搜索中的查询行为,NLP)基于文本召回
访问行为(哪些用户看了哪些商品,主要针对商品特征),item based CF、ALS、Neural MF
基于深度召回:
结合user profile、媒体特性、上下文特性等进入深度模型中进行召回
基于文本召回(标题、query)
6、召回模块演进
(1)布尔召回: