bson

pymongo的基本使用

痞子三分冷 提交于 2020-08-06 08:58:04
一、链接数据库   # 链接数据库se7en521是账号,123456是密码,211.159.185.88是地址,27017是端口号   client = MongoClient('mongodb://se7en521:123456@211.159.185.88:27017')   # 指定需要链接的数据库   mongo_DB = client['video']   # 指定需要操作的数据库中的表   video_old = mongo_DB.video_old 二、增   一、增(插入单条,系统已经不推荐使用)   result1 = video_old.insert({'vid':'10086','category':"111.1.1_1.1",'type':'3','title':'test'})   print('result1=%s'%result1)   print(type(result1))   # 类型是ObjectID类型,及返回值是_id   # result1 = 5ee2e5585979c83dd911d1ca   # <class 'bson.objectid.ObjectId'>   二、增(插入多条,系统已经不推荐使用)   result2 = video_old.insert([{'vid':'10087','category':"111.1.1

MongoDB MapReduce 小例子

给你一囗甜甜゛ 提交于 2020-08-04 18:23:23
var map = function(){ if (this.gscode == "ZTJB"){ ymd = this.ymd; emit("maxymd", ymd); } } var reduce = function(key, values){ var maxYmd = values[0]; for (var i=1; i<values.length; i++){ if (maxYmd < values[i]){ maxYmd = values[i]; } } return maxYmd; } db.getCollection('calcgsdataflash').mapReduce( map, reduce, {out:{inline:1}} ); C API 小例子:   官方文档地址: http://mongoc.org/libmongoc/1.8.2/distinct-mapreduce.html vector<string> vMaxDate; const char *const MAPPER = "function(){" "Date = this.Date;" "emit('maxDate',Date)" "}"; const char *const REDUCER = "function(key, values){" "var maxDate =

MongoDB的真正性能-实战百万用户

瘦欲@ 提交于 2020-08-04 12:34:00
阅读目录 一、第一个问题:Key-Value数据库可以有好多的Key,没错,但对MongoDB来说,大错特错 二、第二个问题:FindOne({_id:xxx})就快么? 三、第三个问题:精细的使用Update 四、2.1.1. 登录时身份认证 五、2.1.2. 使用软件时的界面控制 六、2.1.3. 提交操作请求时的许可验证 七、2.2.1. 角色(Role) 八、2.2.2. 角色(Role)与职务(Job)的关系 九、2.2.3. 用户帐号(User) 十、2.2.4. 用户组(User group) undefined、2.2.5. 操作权限与资源权限 undefined、2.2.6. 菜单权限 undefined、2.2.7. 部门权限 undefined、2.2.8. 字段权限 undefined、2.3.1. 组织结构树 undefined、2.3.2. 对口业务上下级 阅读目录 mySagasoft.MisCore 需求分析 1. 文档概要 2. 术语定义 3. 用例分析 4. 领域模型 5. 动态流程分析 MongoDB的真正性能-实战百万用户一-一亿的道具 上一篇为求振聋发聩的效果,有些口号主义,现在开始实战,归于实用主义。 使用情景 开始之前,我们先设定这样一个情景: 1.一百万注册用户的页游或者手游,这是不温不火的一个状态,刚好是数据量不上不下的一个情况

从 SQL 到 MongoDB 之概念篇

别说谁变了你拦得住时间么 提交于 2020-07-28 11:50:15
翻译原文:MongoDB 官方文档: SQL to MongoDB Mapping Chart 前言 很多开发者首次接触数据库(通常是在高校课堂)的概念,或者说接触第一个数据库,通常是 SQL 数据库,而现在,NoSQL 数据库越来越流行,很多原 SQL 数据的使用者难免有转向 NoSQL 的需求。而作为 NoSQL 数据库的代表,MongoDB 在社区越来越流行,生产环境的使用也日益广泛。 对于 SQL 转战 NoSQL的开发人员来说,最难的一步其实是将原有的 SQL 的概念和知识直接复用过来,最大化的减小学习的成本。 其实,这一步 MongoDB 官方已经为大家考虑到了,那就是在: MongoDB CRUD Operations > MongoDB CRUD Operations > SQL to MongoDB Mapping Chart ,这篇文档非常好的总结了 SQL 对应 MongoDB 的术语和概念,还有可执行文件、SQL 语句/MongoDB 语句等, 可以说对于 SQL 数据库开发人员,如果理解了他们之间的对应关系,那么就一只脚就迈进了 MongoDB 的大门。 Terminology and Concepts 下表介绍了各种 SQL 术语和概念以及相应的 MongoDB 术语和概念. SQL术语/概念 MongoDB 术语/概念 database

Read BSON file in Python?

北城余情 提交于 2020-07-18 10:00:09
问题 I want to read a BSON format Mongo dump in Python and process the data. I am using the Python bson package (which I'd prefer to use rather than have a pymongo dependency), but it doesn't explain how to read from a file. This is what I'm trying: bson_file = open('statistics.bson', 'rb') b = bson.loads(bson_file) print b[0] But I get: Traceback (most recent call last): File "test.py", line 11, in <module> b = bson.loads(bson_file) File "/Library/Python/2.7/site-packages/bson/__init__.py", line

How to convert bson to json effectively with mongo-go-driver?

一个人想着一个人 提交于 2020-07-15 10:06:08
问题 I want to convert bson in mongo-go-driver to json effectively. I should take care to handle NaN , because json.Marshal fail if NaN exists in data. For instance, I want to convert below bson data to json. b, _ := bson.Marshal(bson.M{"a": []interface{}{math.NaN(), 0, 1}}) // How to convert b to json? The below fails. // decode var decodedBson bson.M bson.Unmarshal(b, &decodedBson) _, err := json.Marshal(decodedBson) if err != nil { panic(err) // it will be invoked // panic: json: unsupported

How to convert bson to json effectively with mongo-go-driver?

别来无恙 提交于 2020-07-15 10:03:16
问题 I want to convert bson in mongo-go-driver to json effectively. I should take care to handle NaN , because json.Marshal fail if NaN exists in data. For instance, I want to convert below bson data to json. b, _ := bson.Marshal(bson.M{"a": []interface{}{math.NaN(), 0, 1}}) // How to convert b to json? The below fails. // decode var decodedBson bson.M bson.Unmarshal(b, &decodedBson) _, err := json.Marshal(decodedBson) if err != nil { panic(err) // it will be invoked // panic: json: unsupported

BSON file to pandas dataframe

前提是你 提交于 2020-06-28 06:28:44
问题 I'm looking to work on project involving the venmo dataset. I was able to torrent the bson file and it's sitting in my desktop, but I don't know what to do with it. I'm not too familar with MongoDB and i'm looking to turn it into a pandas dataframe for analysis. Anyone know any tips on doing so? 回答1: Find below an Python example how to read a bson file: import pandas as pd import bson FILE="/folder/file.bson" with open(FILE,'rb') as f: data = bson.decode_all(f.read()) main_df=pd.DataFrame

MongoDB基础入门

依然范特西╮ 提交于 2020-04-18 09:17:07
简介 • MongoDB是为快速开发互联网Web应用而设计的数据库系统。 • MongoDB的设计目标是极简、灵活、作为Web应用栈的一部分。 • MongoDB的数据模型是面向文档的,所谓文档是一种类似于JSON的结构,MongoDB中的“JSON”我们称为BSON,比普通的JSON的功能要更加的强大。 • MongoDB数据库使用的是JavaScript进行操作的,在MongoDB含有一个对ES标准实现的引擎,在MongoDB中所有ES中的语法中都可以使用。 • MongoDB是一个NoSQL的数据库 • MongoDB是一款文档型数据库 关系型数据库(RDBMS):数据库->表->行->主键 非关系型数据库(NoSQL):数据库->集合->文档 ->Object ID(自动维护) mongo _id的生成规则: 时间戳+机器码+PID+计数器 安装 下载地址:www.mongodb.org 安装完成后, 将MongoDB的bin目录添加到path下 默认端口:27107 基本使用 启动服务器( 用来保存数据 ) mongod --dbpath 路径 --port 端口号 启动客户端( 客户端用来操作服务器,对数据进行增删改查的操作 ) mongo 基本操作 use 数据库 - 进入指定的数据库 show databases(dbs) - 显示所有的数据库 show

MongoDB(2.1)MongoDB数据库介绍

[亡魂溺海] 提交于 2020-04-16 21:34:46
【推荐阅读】微服务还能火多久?>>> 【1】MongoDB简介 文档数据库 特点:高性能、易部署、易使用,存储非常方便。 【1.1】主要功能特性 (1)面向集合存储,存储对象类型的数据,文件存储格式为BSON(JSON的扩展) (2)支持查询、动态查询 (3)支持完全索引,包含内部对象 (4)支持复制和故障恢复 (5)使用高效的二进制数据存储,包括大型对象(如视频) (6)自动处理碎片,以支持云计算层次的扩展性 (7)支持多种语言,如RUBY,PYTHON,JAVA,C++,C#,PHP (8)可以通过网络访问 【1.2】适用场景 (1)网站数据:MongoDB非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性(复制、高可用等) (2)缓存:由于性能很高,MongoDB也适合作为信息基础设施的缓存层,支持缓存层持久化 (3)大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据可能比较昂贵,再次之前很多程序猿往往会选择传统的文件进行存储。 (4)高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库。MongoDB的路线发展中,已经包含了对MapReduce引擎的内置支持。 (5)用于对象(比如图片、视频)及JSON数据的存储:MongoDB的BSON数据格式非常适合文档化格式的存储及查询 【1.3】不适用场景 (1)高度事务性的系统