以图搜图

图片搜索淘宝商品接口：把商品图片上传到商城的搜索就能搜索出该商品对应的所有淘宝商品。 如图： 返回商品截图： 请求方式：例如，输入一个商品的图片地址，返回数据如下 Result Object: { “items”: { “page”: null, “error”: “”, “real_total_results”: 40, “item”: [ { “title”: “专业NBA精英篮球袜加厚毛巾底缓震高筒运动袜子 男士中筒精英袜”, “list_type”: “外观相似宝贝”, “pic_url”: “//g-search3.alicdn.com/img/bao/uploaded/i4/TB2OmX0bYsTMeJjSszhXXcGCFXa_!!819836837.jpg”, “promotion_price”: “19.00”, “price”: “35.00”, “sales”: 1, “num_iid”: “558055440807”, “sample_id”: “”, “seller_nick”: “331855829qiu”, “post_fee”: “0.00”, “area”: “福建 泉州”, “detail_url”: “http://item.taobao.com/item.htm?id=558055440807” }, { “title”: “包邮

当您听到“以图搜图”时，是否首先想到了百度、Google 等搜索引擎的以图搜图功能呢？事实上，您完全可以搭建一个属于自己的以图搜图系统：自己建立图片库；自己选择一张图片到库中进行搜索，并得到与其相似的若干图片。 Milvus 作为一款针对海量特征向量的相似性检索引擎，旨在助力分析日益庞大的非结构化数据，挖掘其背后蕴含的巨大价值。为了让 Milvus 能够应用于相似图片检索的场景，我们基于 Milvus 和图片特征提取模型 VGG 设计了一个以图搜图系统。 正文分为数据准备、系统概览、 VGG 模型、API 介绍、镜像构建、系统部署、界面展示七个部分。数据准备章节介绍以图搜图系统的数据支持情况。系统概览章节展示系统的整体架构。VGG 模型章节介绍了 VGG 的结构、特点、块结构以及权重参数。API 介绍章节介绍系统的五个基础功能 API 的工作原理。镜像构建章节介绍如何通过源代码构建客户端和服务器端的 docker 镜像。系统部署章节展示如何三步搭建系统。界面展示章节会展示系统的搜索界面。 1. 数据准备 本文以 PASCAL VOC 图片集为例搭建了一个以图搜图的端到端解决方案，该图片集包含 17,125 张图片，涵盖 20 个目录：人类；动物（鸟、猫、牛、狗、马、羊）；交通工具（飞机、自行车、船、公共汽车、小轿车、摩托车、火车）；室内（瓶子、椅子、餐桌、盆栽植物、沙发、电视）。

背景 以图搜图是很有颠覆力的应用，俗话说 一图胜千言 不同于文本搜索的匹配模式，以图搜图要对搜索的信息源进行处理，抽取特征信息。在网易存证系统的开发过程中调研了用于以图搜图的 simhash 算法，并设想在内容系统建设完善后可以用于诸多的场景，比如： 商业图片侵权自动取证 肖像内容的识别 家庭照片按场景自动分类 图片指纹比较 simhash算法 阮一峰博客 相似图片搜索的原理 压缩大小 压缩颜色 计算平均灰度值 每个像素和平均值比较，大的为1；小的为0， 进一步向量化 得出向量，就是图片指纹， 计算汉明距离 hamming distance 如上过程的java实现 通过如上粗粒度的算法分析，可知simhash和普通hash算法有较大不同；普通hash算法是对字节流无差别的处理，但是simhash首先会对信息抽取特征值，然后计算汉明距离，最后这步是关键，度量了两个特征量的相似性，让我们有可能在抓取了两张图片的关键特征的基础上，比较其相似性。 动手实验 普通hash是差一个空格，也相差极大，比如如下(差别就是一个是 喊 ，一个是 叫 )： vincent@vincent-B250M-DS3H:~$ cat > 1.txt 你妈妈喊你回家吃饭，回家罗回家罗 vincent@vincent-B250M-DS3H:~$ cat > 2.txt 你妈妈叫你回家吃饭，回家罗回家罗 然后，cat