docker中启动elasticsearch报错:Error opening log file 'logs/gc.log': Permission denied

原创 2020-03-24 15:16 阅读(654)次
最近公司组织学习elasticsearch,于是自己又重温了一下es,由于没有环境,又重新在docker安装了一下elasticsearch,启动命令如下:docker run --name es -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" -v /home/docker/es/plugins:/usr/share/elasticsearch/plugins -v /home/docker/es/data:/...

postgresql主从复制时报错:no pg_hba.conf entry for replication connection from host "192.168.15.131", user

原创 2020-03-20 13:39 阅读(365)次
今天在部署postgresql主从复制时,复制一直不成功,检查了主从库的配置没发现什么问题,于是修改主库的配置,修改postgresql.conf:logging_collector = on将日志功能打开,重启主库看到日志一直在报错:FATAL: no pg_hba.conf entry for replication connection from host "192.168.15.131", user "replicator", SSL off我以为pg_hba.conf中配置了如下就可以:local replication all ...

linux下docker安装postgreSql数据库,附带启动脚本

原创 2020-03-19 11:14 阅读(282)次
docker这东西安装中间件真是方便,不需要再去手动下载安装包,省事,今天分享一下我在docker中安装postgresql数据库的过程。1.搜索docker search postgresql2.上面可以看到NAME为postgres的镜像,直接安装,我选择的是10.5版本docker pull postgres:10.53.经过10分钟左右,镜像下载下来了,查看一下docker image listREPOSITORY          TAG              ...

postgresql生成uuid

原创 2020-03-12 15:41 阅读(333)次
我们postgresql数据库在插入数据时,需要生成uuid当作主键,这里分享下2种做法:1,参考这位朋友提供的https://www.cnblogs.com/chengyungzheng/p/10175515.html2,也可以直接自己拼接一下,但这不建议在高并发下使用,以下三个语句都可以生成SELECT uuid_in(md5(random()::text || now()::text)::cstring); SELECT uuid_in(md5(random()::text || clock_timestamp()::text)::cstring); SELECT md5(r...

redis报错远程主机强迫关闭了一个现有的连接以及超时问题

原创 2019-10-11 16:37 阅读(1283)次
问题说明:spring boot2.x+redis开发时,总是时不是发生redis超时,时不时报:远程主机强迫关闭了一个现有的连接以及超时问题。这个问题总是偶有出现,烦人。spring boot2.x版本默认redis连接池为lettuce,以前在非spring boot项目中使用jedis连接redis时,好像没有过这种烦人的问题,搞的现在对redis有阴影。。。我的项目也是使用默认的lettuce连接redis。我们先看超时问题的报错:io.lettuce.core.RedisCommandTimeoutException: Command timed out after 5 second...

java xpack密码连接elasticsearch 7.1集群

原创 2019-09-08 14:18 阅读(926)次
java连接elasticsearch7.x版本跟6.x有很大不一样,api都改了不少。废话不多说,直接分享代码,让看到的人少掉坑里。由于我开启了xpack密码验证,所以连接es时也要加上密码,代码如下:import java.util.Date; import java.util.HashMap; import java.util.Map; import org.apache.http.HttpHost; import org.apache.http.auth.AuthScope; import org.apache.http.auth.UsernamePasswordCred...

elasticsearch7.1保存时报错: Validation Failed: 1: type is missing;

原创 2019-09-08 14:11 阅读(1227)次
elasticsearch7.1保存时报错:org.elasticsearch.action.ActionRequestValidationException: Validation Failed: 1: type is missing; at org.elasticsearch.action.ValidateActions.addValidationError(ValidateActions.java:26) at org.elasticsearch.action.index.IndexRequest.validate(IndexRequest.java:148) at org....

windows下mysql-5.7.22-winx64突然启动不了,报错Could not open log file

原创 2019-08-25 19:13 阅读(476)次
windows下mysql-5.7.22-winx64突然启动不了,感觉启动几秒钟后就自己关闭了,看了下启动日志:2019-08-25T10:57:08.389404Z 0 [Warning] option 'wait_timeout': unsigned value 31536000 adjusted to 21474832019-08-25T10:57:08.389459Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp...

canal client同步数据报错:Nested repetitions *?+ in expression

原创 2019-08-23 18:33 阅读(386)次
canal同步mysql数据时报错:2019-08-23 18:17:10.504 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address 127.0.0.1/127.0.0.1:3306 has an error, retrying. caused by com.alibaba.otter.canal.parse.exception.CanalParseExcept...

canal client中Sql解析

原创 2019-08-22 16:37 阅读(690)次
在使用阿里canal时同步数据,由于现在的canal-adapter满足不了公司需求,于是我用canal-client自己实现同步,这里需要解析ddl语句,涉及到自己写sql解析有点麻烦,所以找了一下这种组件,能用组件的就用组件,不能的就自己写了,这里分享一下,我用的是阿里的druid,他里面有解析sql的代码,直接拿来用。maven引入: <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <v...

启动canal一直报错:Table 'xx.xx' doesn't exist

原创 2019-08-21 10:47 阅读(375)次
在使用cancal异构数据库的时候,只是根据官方配置单机版启动一直报错,如下:2019-08-21 09:18:13.007 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: ErrorPac...

Redis命令和Redisson对象匹配列表

原创 2019-06-13 09:43 阅读(403)次
下表为redis命令对应的Redission对象,备忘一下,免得老忘记:Redis命令Redisson对象方法AUTHConfig.setPassword();APPENDRBinaryStream.getOutputStream().write()BITCOUNTRBitSet.cardinality(), RBitSet.cardinalityAsync(), RBitSetReactive.cardinality()BITOPRBitSet.or(), RBitSet.orAsync(), RBitSetReactive.or();RBitSet.and(), RBitSet.andAs...

docker中安装redis

原创 2019-05-30 19:02 阅读(599)次
1.搜索docker search redis[root@localhost r1]# docker search redisNAME                             DESCRIPTION                                 ...

因磁盘满了Mysql数据库宕机的解决办法

原创 2018-05-07 10:59 阅读(846)次
今天发现数据库宕机了,周五的时候看到磁盘快满了,于是叫同事清理一下数据,没想到他删除的数据量有点大,delete语句执行了一天没删除完,而数据库在周六正好硬盘满了,于是数据库就在执行大事务的同时因为硬盘满了而宕机了。于是本人要恢复数据库,直接启动是启动不了,没空间了,只能把其中一个数据库搬到另一个盘中,释放空间了。我这个数据库实例中有两个数据库,一个叫bdad,一个叫weibo,如下图所示:如上图所示:/data/mysql-data/mysql是我的数据库目录,里有两个数据库bdad,weibo我把weibo这个库搬到了/home目录下,并给这个库创建了软链,相当于两个库使用不同的硬盘工作。...

emoji表情在Mysql数据库中乱码问题总结

原创 2018-03-01 12:32 阅读(724)次
最近在爬取微博数据中发现有些数据保存失败,调试后发现都是emoji表情保存到数据库后乱码造成的。我的Mysql编码都是utf8,Emoji表情占用4个字节,但是MySQL数据库UTF-8编码最多只能存储3个字节,所以乱码了。下面我总结一下我知道的处理方式:1.保存前使用emoji的官方jar包提供的方法将表情转成代码,再保存2.设置数据库的字符编码为支持emoji表情的字符集:utf8mb43.如果可以,我说如果可以。。。过滤掉吧一、emoji表情转成代码保存例如: 😁 我可以存储为:smile:,😭存储为:cry:,等等,可以这样映射起来。这种方法要使用jar包提供的方法,...

MySQL中支持emoji表情的存储

转载 2018-02-28 16:16 阅读(516)次
转:https://www.cnblogs.com/zhangwufei/p/7017325.html由于需要实现emoji表情评论的功能,所以数据库需要支持emoji表情的存储,根据查询的资料最终实现了该功能,现将实现的过程以及过程遇到的一些问题记录下来,供大家参考和交流。mysql的utf8编码的一个字符最多3个字节,但是一个emoji表情为4个字节,所以utf8不支持存储emoji表情。但是utf8的超集utf8mb4一个字符最多能有4字节,所以能支持emoji表情的存储。下面介绍了关于如何修改mysql数据库的编码格式变为utf8mb4的具体方法。Linux系统中MySQL的配置文件为...

聊聊数据保存到MySQL后数据乱码的问题

原创 2018-02-10 17:20 阅读(490)次
经常我们会碰到数据乱码的问题,有页面乱码,java运行时变量里的数据乱码,数据库表数据乱码。我今天主要说说我在工作中遇到的数据库表数据乱码问题怎么解决。当我们表里数据保存后发现乱码,首先我们要确定数据的来源以及中间处理层的字符集编码是不是一致,比如我们用java从文件中读取一段utf-8的文字然后保存到数据库中时,首先我们得用utf-8编码读取并用utf-8保存到数据库中。也就是说java应用层和数据库的编码必须一致才不会出现乱码。应用层的编码我们暂时不说,我主要分享一下mysql数据库中的乱码如何解决,关于乱码为什么会出现或者说原理我也讲不通,给个链接,大家自己看,乱码是怎么形成的?我们出现...

通过xshell建立隧道代理服务器solr端口

原创 2018-02-08 18:19 阅读(438)次
在我们把solr部署到linux正式服务器里后,出于对数据安全的保护,我们不希望谁都能访问到我们的solr,否则数据被人篡改或者删除了,就完蛋了。于是我们通常会把solr在正式服务器的端口禁止外网访问。在今天之前,不知道如何使用隧道,所以我要连接服务器里的solr都是临时打开8983端口,用完再立马禁止掉。在这之间总是担心被人扫到端口,把数据给删除了。。。现在好了今天终于把隧道配置成功了。。。1.首先把solr的端口在防火墙中禁了2.打开xshell,连接你要代理的服务器,然后在xshell中选择文件--连接--SSH--隧道--添加然后配置如下图:我是把服务器的solr8983端口代理到本地...

solr实现随机查询数据

原创 2018-02-07 16:14 阅读(1008)次
我们数据库实现随机查询数据语句如下:select * from product ORDER BY RAND() limit 10上面的语句是随机查询10条商品数据,但我们要想在solr下怎么实现类似这样的随机查询呢?我查了下solr的查询API,都没有找到随机查询的方法。还好百度是万能的,还是在网上找到了解决方案。大家可以参考:solr随机排序要实现这个随机查询,其实就是用solr的动态字段,在schema.xml中配置一个随机类型的字段,用来随机排序,配置如下:<dynamicField name="rand*" type="random" in...

solr时区设置解决时间多8小时问题

原创 2018-01-18 16:17 阅读(1293)次
今天发现我博客里文章的时间与实际时间差了8小时,正好比原来时间多出8小时,想想应该是时区不一致的问题。用solr web工具查询出来的数据原样:"create_time": "2018-01-18T11:22:06Z"{ "original": 1, "create_time": "2018-01-18T11:22:06Z", "id": "18", "title"...

linux下MySQL5.7.18安装过程

原创 2018-01-18 11:22 阅读(554)次
话说MySQL5.7是之前所有版本都无法比的(好像是废话啊,不然人家更新干嘛),可以说是一个跨时代版本(大家都这么说)。它主要对半同步复制技术多线程复制、主从数据一致性都进行了优化,我主要是奔着这些升级来的,不想再用5.6了。目前我已经把5.7用到我负责开发的网站中了,主要用来主从复制当备份数据库。下载地址:http://downloads.mysql.com/archives/community/也可以在https://dev.mysql.com/downloads/file/?id=469480页面中直接下载环境:CentOS release 6.5 (Final)MySQL:mysql-...

linux下MySQL5.6.2安装过程

原创 2018-01-18 10:27 阅读(552)次
MySQL是一个关系型数据库管理系统,并且又是开源的,现在很多系统和网站都在使用它,今天给大家分享下我在linux下安装MySQL5.6.2的过程以及遇到的问题。环境:CentOS release 6.6 (Final)MySQL:5.6.2MySQL官方下载地址:http://downloads.mysql.com/archives/community/你可以根据自己想要的版本下载,不过每个版本安装时大致相同,偶有不一样的地方。安装前检查机器里是否有安装过mysql或mariadb :rpm -qa|grep mysql -i rpm -qa|grep ...

solr搜索报错:Error from server at http://127.0.0.1:8983/solr/索引名: undefined field text

原创 2018-01-13 17:10 阅读(1922)次
今天想把ClassInstance博客的列表查询改成solr搜索,在把solr查询代码加入到我工程中后,测试搜索功能,报错了:org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at http://127.0.0.1:8983/solr/mybook_article: undefined field text at org.apache.solr.client.solrj.impl.HttpSolrClient.executeMethod(HttpSolrClient.j...
网站安全检测平台