elasticsearch同步mongodb--mongo connector的使用

徘徊边缘 提交于 2020-03-08 15:46:25

部署准备

python-3.6.4-amd64.exe

mongodb-win32-x86_64-3.4.6-signed.msi  (如果已经安装可以忽略)

注意点!

之前我写的一篇文章用的是elasticsearch 6.0版本的。但是mongo connector只支持到5.x版本,因此我选用了5.5版本。

另外mongodb作为副节点不可有额外的数据库,使用前请保证清空。

Mongodb副本集搭建(已搭建可忽略)

步骤1:在两台服务器上安装好 mongodb-win32-x86_64-3.4.6-signed.msi ,安装好的目录新建一个配置文件mongodb.config,内容如下

dbpath=C:\Program Files\MongoDB\Server\3.4\data\db
logpath=C:\Program Files\MongoDB\Server\3.4\data\log\mongo.log

 步骤2:同时根据上面配置文件里的路径新建相应的文件夹db、log。调出cmd->

"C:\Program Files\MongoDB\Server\3.4\bin\mongod" --config  "C:\Program Files\MongoDB\Server\3.4\bin\mongodb.config"  --serviceName "mongodb" --install --replSet myDevReplSet

 注意!上面安装服务路径是绝对路径,而且replSet名称在两台服务必须保证相同。

调出服务界面,启动mongodb。

步骤3:选择其中一个节点作为主节点。

可以通过cmd或者工具连接到mongodb,我用的是robo 3T。使用敲出以下命令:

config = {
    _id : "myDevReplSet",
    members : [
        {_id : 0, host : "192.168.20.80:27017" },
        {_id : 1, host : "192.168.15.32:27017" }
     ]
 }
rs.initiate(config)#查看集群状态rs.status()

安装Python

安装已经下载好的 python-3.6.4-amd64.exe ,调出cmd->

pip install elastic2-doc-manager[elastic5]
#等待安装完毕
pip install mongo-connector[elastic5]mongo-connector -m 192.168.20.80:27017 -t 192.168.20.81:9200 -d elastic2_doc_manager

 将会有log输出到相应位置,可以打开查看,如果输出以下日志,并且任务管理器显示了mongo-connector进程,证明启动成功。

结尾

搭建的时候,遇到不少阻力,搭建时竟然保证版本的对应性。其次mongo connector的同步效率并不如意,而且是单线程跑的,偶尔会挂,有需求的可以写一个守护进程程序提高可用性。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!