canal client同步数据报错:Nested repetitions *?+ in expression
原创 2019-08-23 18:33 阅读(1244)次
canal同步mysql数据时报错：2019-08-23 18:17:10.504 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address 127.0.0.1/127.0.0.1:3306 has an error, retrying. caused by
com.alibaba.otter.canal.parse.exception.CanalParseExcept...
canal client中Sql解析
原创 2019-08-22 16:37 阅读(1842)次
在使用阿里canal时同步数据，由于现在的canal-adapter满足不了公司需求，于是我用canal-client自己实现同步，这里需要解析ddl语句，涉及到自己写sql解析有点麻烦，所以找了一下这种组件，能用组件的就用组件，不能的就自己写了，这里分享一下，我用的是阿里的druid，他里面有解析sql的代码，直接拿来用。maven引入： <dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<v...
启动canal一直报错:Table 'xx.xx' doesn't exist
原创 2019-08-21 10:47 阅读(2522)次
在使用cancal异构数据库的时候，只是根据官方配置单机版启动一直报错，如下：2019-08-21 09:18:13.007 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: ErrorPac...
Redis命令和Redisson对象匹配列表
原创 2019-06-13 09:43 阅读(1204)次
下表为redis命令对应的Redission对象，备忘一下，免得老忘记：Redis命令Redisson对象方法AUTHConfig.setPassword();APPENDRBinaryStream.getOutputStream().write()BITCOUNTRBitSet.cardinality(), RBitSet.cardinalityAsync(), RBitSetReactive.cardinality()BITOPRBitSet.or(), RBitSet.orAsync(), RBitSetReactive.or();RBitSet.and(), RBitSet.andAs...
docker中安装redis
原创 2019-05-30 19:02 阅读(1510)次
1.搜索docker search redis[root@localhost r1]# docker search redisNAME DESCRIPTION ...
因磁盘满了Mysql数据库宕机的解决办法
原创 2018-05-07 10:59 阅读(1963)次
今天发现数据库宕机了，周五的时候看到磁盘快满了，于是叫同事清理一下数据，没想到他删除的数据量有点大，delete语句执行了一天没删除完，而数据库在周六正好硬盘满了，于是数据库就在执行大事务的同时因为硬盘满了而宕机了。于是本人要恢复数据库，直接启动是启动不了，没空间了，只能把其中一个数据库搬到另一个盘中，释放空间了。我这个数据库实例中有两个数据库，一个叫bdad，一个叫weibo，如下图所示：如上图所示：/data/mysql-data/mysql是我的数据库目录，里有两个数据库bdad,weibo我把weibo这个库搬到了/home目录下，并给这个库创建了软链，相当于两个库使用不同的硬盘工作。...
emoji表情在Mysql数据库中乱码问题总结
原创 2018-03-01 12:32 阅读(2050)次
最近在爬取微博数据中发现有些数据保存失败，调试后发现都是emoji表情保存到数据库后乱码造成的。我的Mysql编码都是utf8，Emoji表情占用4个字节，但是MySQL数据库UTF-8编码最多只能存储3个字节，所以乱码了。下面我总结一下我知道的处理方式：1.保存前使用emoji的官方jar包提供的方法将表情转成代码，再保存2.设置数据库的字符编码为支持emoji表情的字符集:utf8mb43.如果可以，我说如果可以。。。过滤掉吧一、emoji表情转成代码保存例如： 😁 我可以存储为:smile：，😭存储为:cry：，等等，可以这样映射起来。这种方法要使用jar包提供的方法,...
MySQL中支持emoji表情的存储
转载 2018-02-28 16:16 阅读(1323)次
转：https://www.cnblogs.com/zhangwufei/p/7017325.html由于需要实现emoji表情评论的功能，所以数据库需要支持emoji表情的存储，根据查询的资料最终实现了该功能，现将实现的过程以及过程遇到的一些问题记录下来，供大家参考和交流。mysql的utf8编码的一个字符最多3个字节，但是一个emoji表情为4个字节，所以utf8不支持存储emoji表情。但是utf8的超集utf8mb4一个字符最多能有4字节，所以能支持emoji表情的存储。下面介绍了关于如何修改mysql数据库的编码格式变为utf8mb4的具体方法。Linux系统中MySQL的配置文件为...
聊聊数据保存到MySQL后数据乱码的问题
原创 2018-02-10 17:20 阅读(1393)次
经常我们会碰到数据乱码的问题，有页面乱码，java运行时变量里的数据乱码，数据库表数据乱码。我今天主要说说我在工作中遇到的数据库表数据乱码问题怎么解决。当我们表里数据保存后发现乱码，首先我们要确定数据的来源以及中间处理层的字符集编码是不是一致，比如我们用java从文件中读取一段utf-8的文字然后保存到数据库中时，首先我们得用utf-8编码读取并用utf-8保存到数据库中。也就是说java应用层和数据库的编码必须一致才不会出现乱码。应用层的编码我们暂时不说，我主要分享一下mysql数据库中的乱码如何解决，关于乱码为什么会出现或者说原理我也讲不通，给个链接，大家自己看，乱码是怎么形成的？我们出现...
通过xshell建立隧道代理服务器solr端口
原创 2018-02-08 18:19 阅读(1161)次
在我们把solr部署到linux正式服务器里后，出于对数据安全的保护，我们不希望谁都能访问到我们的solr，否则数据被人篡改或者删除了，就完蛋了。于是我们通常会把solr在正式服务器的端口禁止外网访问。在今天之前，不知道如何使用隧道，所以我要连接服务器里的solr都是临时打开8983端口，用完再立马禁止掉。在这之间总是担心被人扫到端口，把数据给删除了。。。现在好了今天终于把隧道配置成功了。。。1.首先把solr的端口在防火墙中禁了2.打开xshell，连接你要代理的服务器，然后在xshell中选择文件--连接--SSH--隧道--添加然后配置如下图：我是把服务器的solr8983端口代理到本地...
solr实现随机查询数据
原创 2018-02-07 16:14 阅读(2077)次
我们数据库实现随机查询数据语句如下：select * from product ORDER BY RAND() limit 10上面的语句是随机查询10条商品数据，但我们要想在solr下怎么实现类似这样的随机查询呢?我查了下solr的查询API，都没有找到随机查询的方法。还好百度是万能的，还是在网上找到了解决方案。大家可以参考：solr随机排序要实现这个随机查询，其实就是用solr的动态字段，在schema.xml中配置一个随机类型的字段，用来随机排序，配置如下：<dynamicField name="rand*" type="random" in...
solr时区设置解决时间多8小时问题
原创 2018-01-18 16:17 阅读(2658)次
今天发现我博客里文章的时间与实际时间差了8小时，正好比原来时间多出8小时，想想应该是时区不一致的问题。用solr web工具查询出来的数据原样："create_time": "2018-01-18T11:22:06Z"{
"original": 1,
"create_time": "2018-01-18T11:22:06Z",
"id": "18",
"title"...
linux下MySQL5.7.18安装过程
原创 2018-01-18 11:22 阅读(1730)次
话说MySQL5.7是之前所有版本都无法比的(好像是废话啊，不然人家更新干嘛)，可以说是一个跨时代版本(大家都这么说)。它主要对半同步复制技术多线程复制、主从数据一致性都进行了优化，我主要是奔着这些升级来的，不想再用5.6了。目前我已经把5.7用到我负责开发的网站中了，主要用来主从复制当备份数据库。下载地址：http://downloads.mysql.com/archives/community/也可以在https://dev.mysql.com/downloads/file/?id=469480页面中直接下载环境：CentOS release 6.5 (Final)MySQL：mysql-...
linux下MySQL5.6.2安装过程
原创 2018-01-18 10:27 阅读(1578)次
MySQL是一个关系型数据库管理系统，并且又是开源的，现在很多系统和网站都在使用它，今天给大家分享下我在linux下安装MySQL5.6.2的过程以及遇到的问题。环境：CentOS release 6.6 (Final)MySQL：5.6.2MySQL官方下载地址：http://downloads.mysql.com/archives/community/你可以根据自己想要的版本下载，不过每个版本安装时大致相同，偶有不一样的地方。安装前检查机器里是否有安装过mysql或mariadb :rpm -qa|grep mysql -i rpm -qa|grep ...
solr搜索报错:Error from server at http://127.0.0.1:8983/solr/索引名: undefined field text
原创 2018-01-13 17:10 阅读(4784)次
今天想把ClassInstance博客的列表查询改成solr搜索，在把solr查询代码加入到我工程中后，测试搜索功能，报错了：org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at http://127.0.0.1:8983/solr/mybook_article: undefined field text at org.apache.solr.client.solrj.impl.HttpSolrClient.executeMethod(HttpSolrClient.j...