MeiTuan

ICRA 2020轨迹预测竞赛冠军的方法总结

感情迁移 提交于 2020-10-24 12:27:38
行人轨迹预测问题是无人驾驶技术的重要一环,已成为近年来的一项研究热点。在机器人领域国际顶级会议ICRA 2020上,美团无人配送团队在行人轨迹预测竞赛中夺冠,本文系对该预测方法的一些经验总结,希望能对大家有所帮助或者启发。 一、背景 6月2日,国际顶级会议ICRA 2020举办了“第二届长时人类运动预测研讨会”。该研讨会由博世有限公司、厄勒布鲁大学、斯图加特大学、瑞士洛桑联邦理工联合组织,同时在该研讨会上,还举办了一项行人轨迹预测竞赛,吸引了来自世界各地的104支队伍参赛。美团无人配送团队通过采用“世界模型”的交互预测方法,夺得了该比赛的第一名。 二、赛题简介 本次竞赛提供了街道、出入口、校园等十个复杂场景下的行人轨迹数据集,要求参赛选手根据这些数据集,利用行人在过去3.6秒的轨迹来预测其在未来4.8秒的运行轨迹。竞赛使用FDE(预测轨迹和真实轨迹的终点距离)来对各种算法进行排名。 本次的赛题数据集,主要来源于各类动态场景下的真实标注数据和模拟合成数据,采集频率为2.5赫兹,即两个时刻之间的时间差为0.4秒。数据集中的行人轨迹都以固定坐标系下的时序坐标序列表示,并且根据行人的周围环境,这些轨迹被分类成不同的类别,例如静态障碍物、线性运动、追随运动、避障行为、团体运动等。在该比赛中,参赛队伍需要根据每个障碍物历史9个时刻的轨迹数据(对应3.6秒的时间)来预测未来12个时刻的轨迹

KDD Cup 2020 Debiasing比赛冠军技术方案及在美团广告的实践

浪子不回头ぞ 提交于 2020-10-12 03:47:45
ACM SIGKDD (国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域的国际顶级会议。美团到店广告平台搜索广告算法团队与中科院大学共同组建参赛队伍Aister,参加了Debiasing、AutoGraph、Multimodalities Recall三道赛题,最终在Debiasing赛道中获得冠军(1/1895),在AutoGraph赛道中也获得了冠军(1/149),并在Multimodalities Recall赛道中获得了季军(3/1433)。本文将介绍Debiasing赛题的技术方案,以及团队在广告业务中偏差消除的应用与研究。 背景 ACM SIGKDD (国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域的国际顶级会议。KDD Cup比赛是由SIGKDD主办的数据挖掘研究领域的国际顶级赛事,从1997年开始,每年举办一次,是目前数据挖掘领域最具影响力的赛事。该比赛同时面向企业界和学术界,云集了世界数据挖掘界的顶尖专家、学者、工程师、学生等参加,为数据挖掘从业者们提供了一个学术交流和研究成果展示的平台。KDD Cup 2020共设置五道赛题(四个赛道),分别涉及数据偏差问题(Debiasing)、多模态召回问题(Multimodalities Recall)、自动化图学习(AutoGraph)、对抗学习问题和强化学习问题。

智能搜索模型预估框架Augur的建设与实践

梦想的初衷 提交于 2020-10-05 14:57:48
在过去十年,机器学习在学术界取得了众多的突破,在工业界也有很多应用落地。美团很早就开始探索不同的机器学习模型在搜索场景下的应用,从最开始的线性模型、树模型,再到近两年的深度神经网络、BERT、DQN等,并在实践中也取得了良好的效果与产出。 在美团搜索AI化的过程中,比较核心的两个组件是模型训练平台Poker和在线预估框架Augur。本文主要与大家探讨Augur的设计思路、效果,以及它的优势与不足,最后也简单介绍了一下Poker平台的价值。希望这些内容对大家有所帮助或者启发。 1. 背景 搜索优化问题,是个典型的AI应用问题,而AI应用问题首先是个系统问题。经历近10年的技术积累和沉淀,美团搜索系统架构从传统检索引擎升级转变为AI搜索引擎。当前,美团搜索整体架构主要由搜索数据平台、在线检索框架及云搜平台、在线AI服务及实验平台三大体系构成。在AI服务及实验平台中,模型训练平台Poker和在线预估框架Augur是搜索AI化的核心组件,解决了模型从离线训练到在线服务的一系列系统问题,极大地提升了整个搜索策略迭代效率、在线模型预估的性能以及排序稳定性,并助力商户、外卖、内容等核心搜索场景业务指标的飞速提升。 首先,让我们看看在美团App内的一次完整的搜索行为主要涉及哪些技术模块。如下图所示,从点击输入框到最终的结果展示,从热门推荐,到动态补全、最终的商户列表展示、推荐理由的展示等

美团配送A/B评估体系建设实践

帅比萌擦擦* 提交于 2020-10-03 03:07:02
2019年5月6日,美团点评正式推出新品牌“美团配送”,发布了美团配送新愿景:“每天完成一亿次值得信赖的配送服务,成为不可或缺的生活基础设施。”现在,美团配送已经服务于全国400多万商家和4亿多用户,覆盖2800余座市县,日活跃骑手超过70万人,成为全球领先的分钟级配送网络。 即时配送的三要素是“效率”、“成本”、“体验”,通过精细化的策略迭代来提升效率,降低成本,提高体验,不断地扩大规模优势,从而实现正向循环。但是,策略的改变,不是由我们随便“拍脑袋”得出,而是一种建立在数据基础上的思维方式,数据反馈会告诉我们做的好不好,哪里有问题,以及衡量可以带来多少确定性的增长。而A/B-test就是我们精细化迭代的一个“利器”,通过为同一个迭代目标制定两个或多个版本的方案,在同一时间维度,让组成成分相同(或相似)的A/B群组分别采用这些版本,然后收集各群组的体验数据和业务数据,最后分析、评估出最好的版本,帮助我们作出正确的决策,使迭代朝着更好的方向去演进。基于此,构建一个适用于配送业务的A/B平台就应运而生了。 1. A/B平台简介 如上图所示,A/B实验可以看作一个“无尽”的学习环,我们通过提出假设、定义成功指标、检验假设(A/B实验)、分析学习、发布、建立另一个假设,这就形成一个完整的闭环,通过多轮实验迭代,使策略趋于更优。基于上述对A/B实验划分的5个步骤,我们将A

KDD Cup 2020多模态召回比赛亚军方案与搜索业务应用

岁酱吖の 提交于 2020-09-28 09:50:04
1. 背景 ACM SIGKDD (ACM SIGKDD Conference on Knowledge Discovery and Data Mining)是世界数据挖掘领域的顶级国际会议。KDD Cup比赛由ACM SIGKDD举办,从1997年开始每年举办一次,也是数据挖掘领域最有影响力的赛事之一。该比赛同时面向企业界和学术界,云集了世界数据挖掘界的顶尖专家、学者、工程师、学生等参加,通过竞赛,为数据挖掘从业者们提供了一个学术交流和研究成果展示的理想场所。今年,KDD Cup共设置四个赛道共五道赛题,涉及数据偏差问题(Debiasing)、多模态召回(Multimodalities Recall)、自动化图学习(AutoGraph)、对抗学习问题和强化学习问题。 美团搜索广告算法团队最终在 Debiasing 赛道中获得冠军(1/1895),在 AutoGraph 赛道中也获得了冠军(1/149)。在 Multimodalities Recall 赛道中,亚军被美团搜索与NLP团队摘得(2/1433),美团搜索广告算法团队获得了第三名(3/1433)。 跟其它电商公司一样,美团业务场景中除了文本,还存在图片、动图、视频等多种模态信息。同时,美团搜索是典型的多模态搜索引擎,召回和排序列表中存在POI、图片、文本、视频等多种模态结果

美团命名服务的挑战与演进

余生颓废 提交于 2020-08-18 12:54:29
本文根据美团基础架构部技术专家舒超在2019 ArchSummit(全球架构师峰会)上的演讲内容整理而成。 命名服务主要解决微服务拆分后带来的服务发现、路由隔离等需求,是服务治理的基石。美团命名服务(以下简称MNS)作为服务治理体系OCTO的核心模块,目前承载美团上万项服务,日均调用达到万亿级别。为了更好地支撑美团各项飞速发展的业务,MNS开始从1.0向2.0演进。本文将围绕本次演进的初衷、实现方案以及落地的效果等方面进行展开,同时本文还介绍了命名服务作为一个技术中台组件,对业务的重要价值以及推动业务升级的一些成果。希望本文对大家能够有所启发。 一、MNS 1.0简介 从架构上看,MNS 1.0 主要分为三层:首先是嵌入业务内部的SDK,用作业务自定义调用;然后是驻守在每个机器上的SgAgent,以代理的方式将一些易变的、消耗性能的计算逻辑与业务进程分离开来,从而降低SDK对业务的侵入,减少策略变动对业务的干扰;远端是集中式的组件,包括健康检查模块Scanner,鉴权缓存模块MNSC,以及基于ZooKeeper(以下简称ZK)打造的一致性组件MNS-ZK,作为通知和存储模块。在层级之间设立多级缓存,利用“边缘计算”思想拆分逻辑,简化数据,尽量将路由分配等工作均摊到端上,从而降低中心组件负载。更多详情大家可参考《 美团大规模微服务通信框架及治理体系OCTO核心组件开源

美团外卖Flutter动态化实践

怎甘沉沦 提交于 2020-08-18 05:14:47
一、前言 Flutter 跨端技术一经推出便在业内赢得了不错的口碑,它在“多端一致”和“渲染性能”上的优势让其他跨端方案很难比拟。虽然 Flutter 的成长曲线和未来前景看起来都很好,但不可否认的是,目前 Flutter 仍处在发展阶段,很多大型互联网企业都无法毫无顾虑地让全线 App 接入,而其中最主要的顾虑是包大小与动态化。 动态化代表着更短的需求上线路径,代表着大大压缩了原始包的大小,从而获得更高的用户下载意向,也代表着更健全的线上质量维护体系。当明白这些意义后,我们也就不难理解,在 Flutter 的应用与适配趋近完善时,动态化自然就成为了一个无法避开的话题。RN 和 Weex 等成熟技术甚至让大家认为动态化是跨端技术的标配。 美团外卖 MTFlutter 团队从 2019 年 9 月开始对动态化进行研究,目前已在多个业务模块上线,内部项目代号 “Flap” 。。 二、Flap 的特点与优势 Flap 研发的初心是为了提供一个完整解决方案,而不是一个过渡方案。项目组思考了当下最痛的点并逐一列出,然后再根据目标来做具体选型。在前期,只有需求考虑得越周全,后续的架构和研发才会越明确。在研发过程中,团队应该坚守底线,坚守初心,不断攻克困难,完成昔日定下的目标。 2.1 核心目标 通用性,保持 Flutter 多平台支持的能力且方案无平台差异。 低成本,动态化对齐 Flutter

秒懂java规则表达式框架Aviator2.3.0

烂漫一生 提交于 2020-08-17 06:08:32
背景 在我们的业务场景中有一个需求,我们有一个配置功能,该功能需要配置两个变量之间比较大小。使用tab比较难表达,所以就提出了,可以让用户写比较简单的函数进行配置。或者选tab进行选择(前段直接将对应的tab字符串拼接来给后端执行)。 或者这么说吧,可以通过字符串的表达的意思,进行执行这个字符串的索要表达的逻辑,且这个逻辑和这个字符串可以自定义。 Aviator 简介 Aviator是一个高性能、轻量级的java语言实现的表达式求值引擎,主要用于各种表达式的动态求值。现在已经有很多开源可用的java表达式求值引擎,为什么还需要Avaitor呢? Aviator的设计目标是 轻量级 和*高性能 ,相比于Groovy、JRuby的笨重,Aviator非常小,加上依赖包也才450K,不算依赖包的话只有70K;当然,Aviator的语法是受限的,它不是一门完整的语言,而只是语言的一小部分集合。 其次,Aviator的实现思路与其他轻量级的求值器很不相同,其他求值器一般都是通过解释的方式运行,而Aviator则是直接将表达式*编译成Java字节码,交给JVM去执行。简单来说,Aviator的定位是介于Groovy这样的重量级脚本语言和IKExpression这样的轻量级表达式引擎之间。 内部原理 任何语言都是通过一步一步的抽象,从硬件原理再到我们人类可以认识的语言。

教你一招另辟蹊径抓取美团火锅数据

时光毁灭记忆、已成空白 提交于 2020-08-17 03:05:53
最近有个小伙伴在群里问美团数据怎么获取,而且她只要火锅数据,她在上海,只要求抓上海美团火锅的数据,而且要求也不高,只要100条,想做个简单的分析,相关的字段如下图所示。 乍一看,这个问题还真的是蛮难的,毕竟美团也不是那么好抓,什么验证码,模拟登陆等一大堆拂面而来,吓得小伙伴都倒地了。 通过F12查看,抓包,分析URL,找规律,等等操作。 不过白慌,今天小编给大家介绍一个小技巧,另辟蹊径去搞定美团的数据,这里需要用到抓包工具Fiddler。讲道理,之前我开始接触网络爬虫的时候也没有听过这个东东,后来就慢慢知道了,而且它真的蛮实用的,建议大家都能学会用它。这个工具专门用于抓包,而且其安装包也非常小,如下图所示。 接下来,我们开始进行抓取信息。 1、在Fiddler的左侧找到meituan网站的链接,如下图所示。链接的左边返回的response(响应)的文件类型,可以看到是JSON文件,尔后双击这一行链接。 2、此时在右侧会显示下图的界面,点击黄色区域内的那串英文“Responsebody is encoded. Click to decode.”意思是response是加密的,点击此处进行解码,对返回的网页进行解码。 3、此时会弹出下图所示的界面,在WebView中可以看到返回的数据,与网页中的内容对应一致。 4、不过美团网限制一页最多显示32条火锅信息,如下图所示。 5

Kubernetes如何改变美团的云基础设施?

霸气de小男生 提交于 2020-08-14 15:25:20
本文根据美团基础架构部王国梁在KubeCon 2020云原生开源峰会Cloud Native + Open Source Virtual Summit China 2020上的演讲内容整理而成。 一、背景与现状 Kubernetes是让容器应用进入大规模工业生产环境的开源系统,也是集群调度领域的事实标准,目前已被业界广泛接受并得到了大规模的应用。Kubernetes已经成为美团云基础设施的管理引擎,它带来的不仅仅是高效的资源管理,同时也大幅降低了成本,而且为美团云原生架构的推进打下了坚实的基础,支持了Serverless、云原生分布式数据库等一些平台完成容器化和云原生化的建设。 从2013年开始,美团就以虚拟化技术为核心构建了云基础设施平台;2016年,开始探索容器技术并在内部进行落地,在原有OpenStack的资源管理能力之上构建了Hulk1.0容器平台;2018年,美团开始打造以Kubernetes技术为基础的Hulk2.0平台;2019年年底,我们基本完成了美团云基础设施的容器化改造;2020年,我们坚信Kubernetes才是未来的云基础设施标准,又开始探索云原生架构落地和演进。 当前,我们构建了以Kubernetes、Docker等技术为代表的云基础设施,支持整个美团的服务和应用管理,容器化率达到98%以上,目前已有数十个大小Kubernetes集群