clickhouse如何删除数据
原创 2020-11-27 18:09 阅读(20)次
clickhouse删除数据提供了三种方式：一、是删除分区，数据就会删除掉二、是通过Alter语句删除数据三、是还可以通过设置日期字段或表的TTL生命周期，到期自动清除数据注意：上面前2点都可以使用分布式DDL删除集群各节点数据，第三点是创建表时定义的，暂时不提。1.删除分区alter table 表名 drop partition 分区名分区名可以用下语句查询select * from system.parts p where table = '表名'以我下面这张表为例，分区函数是toYYYYMMDD(collect_time)，按天分区，那分区名就是20201010这样的日期格式，只要按这...
clickhouse执行查询内存超出限制问题：Memory limit (total) exceeded
原创 2020-11-26 18:15 阅读(15)次
今天用clickhouse执行分布式查询报错：SQL 错误 [241]: ClickHouse exception, code: 241, host: 192.168.29.124, port: 18123; Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 15.44 GiB (attempt to allocate chunk of 4294967296 bytes), maximum: 13.95 GiB (version 20.6.3.28 (official bui...
spring boot项目默认日志配置
原创 2020-11-26 17:43 阅读(12)次
spring boot默认日志为logback打印，默认不配置也可以打印日志，但生产环境中这样容易让日志打到机器磁盘不足，所以我们还是需要配置一下的：logging:
file:
name: app.log
path: /home/java/
max-size: 50MB
max-history: 7
clickhouse执行分布式DDL报错:Table `xxx` isn't replicated, but shard #2 is replicated according to its
原创 2020-11-17 18:06 阅读(28)次
clickhouse执行分布式DDL报错:Table `xxx` isn't replicated, but shard #2 is replicated according to its cluster definition执行的语句是：alter table engs_comp_clg_result_local on cluster shipin_cluster drop partition 20191101 我是想把我集群shipin_cluster中两个节点的本地表中一个分区删除掉，但是一执行报如上错误，说是我的本地表不是复制表，但是分片2却根据定义在复制。我的集群配置如下：<y...
quartz定时器改名后报错，删除多余的定时表数据
原创 2020-09-27 16:55 阅读(71)次
quartz定时器改名后报错，需要清除原来表中的对应数据，删除多余的定时表数据删除语句如下，对应的定时信息要传入：DELETE from qrtz_cron_triggers where TRIGGER_NAME = 'personTimeSpaceTaskTrigger';
DELETE from qrtz_triggers where TRIGGER_NAME = 'personTimeSpaceTaskTrigger';
DELETE from qrtz_job_details where JOB_NAME = 'personTimeSpaceTask';
win10双击winzip压缩里的exe文件安装软件产生文件碎片怎么删除
原创 2020-05-29 00:23 阅读(196)次
昨晚下载了dota2在安装时直接用WinRAR压缩软件打开，双击压缩包里的.exe文件直接安装游戏，解压到一半发现C盘满了，解压失败了。。这游戏解压后有20多G。然后看了C盘大小半天都没有恢复，一直处于满的状态，WTF！！！WinRAR这软件居然不会清除解压后的碎片文件！网上说等一小时后会自动清除，WTF！！！我等了一天都有，算了吧，我自己去C盘找，想想应该在用户目录里，还真给我找到了，解压碎片文件在C:\Users\jary\AppData\Local\Packages的一个WinZip开头的文件夹中，于是把他删除了，足足留下了13G的临时文件！！！，把我的C盘撑满了所以说解压时最好解压到指...
springboot项目初始化druid连接池时报错java.lang.NullPointerException: null
原创 2020-04-27 18:25 阅读(592)次
新创建了一个springboot项目，一顿配置，以为能正常启动，结果打脸了，报错了：2020-04-27 18:14:04.655 ERROR 18376 --- [ main] com.alibaba.druid.pool.DruidDataSource : {dataSource-1} init error
java.lang.NullPointerException: null
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:325) ~[na:1.8.0_191]
at jav...
maven deploy新包到私服，别的工程不会自动引用新包的问题
原创 2020-04-15 17:41 阅读(364)次
在idea中将公共jar包maven deploy自动上传私服后，我并没有修改包的版本，同事在别的工程clean install后发现引用的还是原来的包。后来才发现，别人如果想使用这个最新的包，可以在idea的Maven Projects视图中点reimport，就可以了。install为什么不能下载新包呢，原来同样的版本情况下，install默认找本地的，所以才会出现引用的旧包的问题。也可以设置仓库的<updatePolicy>属性，参考https://www.iteye.com/blog/quinnhe-2066831
idea类找不到问题Caused by: java.lang.NoClassDefFoundError
原创 2020-04-15 17:02 阅读(479)次
我的项目A引用另一个名叫pip-data-model-solr.jar包，这个包是我们的实体module，我改过这个module里的代码，重新打包pip-data-model-solr.jar后，项目A clean install后就启动不了，我是用idea启动的。报如下错：Caused by: java.lang.NoClassDefFoundError: cn/com/datu/data/model/solr/entity/po/PersonDoc at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Clas...
Base64编码出现换行符
原创 2020-03-31 11:49 阅读(335)次
我有一个url图片地址，需要将他base64编码然后传给另一个服务，我本地一直是可以，将程序上传到linux服务器中一直发现图片出不来，看了下日志，base64编码后发现出来的数据多了换行符，如下：地址：kv://kv-face-video_face/2020/03/31/11/24/hmfdq-5439232d-8ab2-4403-8882-6b1d90fbeaee-1585625075325-1017433base编码后值：a3Y6Ly9rdi1mYWNlLXZpZGVvX2ZhY2UvMjAyMC8wMy8zMS8xMS8yNC9obWZkcS01NDM5MjMyZC04YWIyLTQ0...
feign报错java.lang.IllegalStateException: RequestParam.value() was empty on parameter 0
原创 2020-03-26 10:29 阅读(420)次
修改了一下feign接口，原本可以的接口突然报错：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cn.com.datu.thirdpartapi.feign.OpodMetaOfProfileFeign': FactoryBean threw exception on object creation; nested exception is java.lang.IllegalStateException: RequestParam.value() was empty...
docker中启动elasticsearch报错：Error opening log file 'logs/gc.log': Permission denied
原创 2020-03-24 15:16 阅读(764)次
最近公司组织学习elasticsearch，于是自己又重温了一下es，由于没有环境，又重新在docker安装了一下elasticsearch，启动命令如下：docker run --name es -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" -v /home/docker/es/plugins:/usr/share/elasticsearch/plugins -v /home/docker/es/data:/...
postgresql主从复制时报错：no pg_hba.conf entry for replication connection from host "192.168.15.131", user
原创 2020-03-20 13:39 阅读(427)次
今天在部署postgresql主从复制时，复制一直不成功，检查了主从库的配置没发现什么问题，于是修改主库的配置，修改postgresql.conf：logging_collector = on将日志功能打开，重启主库看到日志一直在报错：FATAL: no pg_hba.conf entry for replication connection from host "192.168.15.131", user "replicator", SSL off我以为pg_hba.conf中配置了如下就可以：local replication all ...
linux下docker安装postgreSql数据库,附带启动脚本
原创 2020-03-19 11:14 阅读(320)次
docker这东西安装中间件真是方便，不需要再去手动下载安装包，省事，今天分享一下我在docker中安装postgresql数据库的过程。1.搜索docker search postgresql2.上面可以看到NAME为postgres的镜像，直接安装，我选择的是10.5版本docker pull postgres:10.53.经过10分钟左右，镜像下载下来了，查看一下docker image listREPOSITORY TAG ...
postgresql生成uuid
原创 2020-03-12 15:41 阅读(413)次
我们postgresql数据库在插入数据时，需要生成uuid当作主键，这里分享下2种做法：1，参考这位朋友提供的https://www.cnblogs.com/chengyungzheng/p/10175515.html2，也可以直接自己拼接一下，但这不建议在高并发下使用，以下三个语句都可以生成SELECT uuid_in(md5(random()::text || now()::text)::cstring);
SELECT uuid_in(md5(random()::text || clock_timestamp()::text)::cstring);
SELECT md5(r...
切分List集合为多个List集合
原创 2020-03-12 10:57 阅读(593)次
切分一个List变成多个List集合，代码如下：import java.util.ArrayList;
import java.util.List;
/**
* @author: jary
* @datetime: 2020/2/5 15:59
* @description:
*/
public class CollectUtils {
/**
* 切分list
* @param sourceList
* @param groupSize 每组定长
* @return
*/
public ...
the dependencies of some of the beans in the application context form a cycle
原创 2020-01-16 08:56 阅读(787)次
spring项目工程在idea中运行正常，可是打包运行就报错：the dependencies of some of the beans in the application context form a cycle错误意思是spring循环依赖，开始以为是打包问题，可检查了包里面的内容是正常的，于是我build project后再打包，居然可以了。网上也找了下别人的解决办法有：1.不要使用基于构造函数的依赖注入2.在字段上使用@Autowired注解，让Spring决定在合适的时机注入3.用基于setter方法的依赖注入那我的解决办法是重新build project，在这里都记录下
利用fastJson保证数据字段顺序做api数据签名加密
原创 2020-01-08 17:28 阅读(433)次
我们在开发api接口时，尤其是开放给第三方使用的接口，通常会对接口参数做签名加密校验。我看了下大部分人都只是把url上的参数放到TreeMap中做加密：import org.apache.commons.codec.digest.DigestUtils;
import java.io.UnsupportedEncodingException;
import java.util.Map;
import java.util.TreeMap;
/**
* @Author: rongrong
* @Date: 2018/4/23
* @Description:
*/
publ...
spring cloud config取不到配置@Value报错: Could not resolve placeholder 'xxxx' in value
原创 2020-01-02 11:28 阅读(869)次
我们项目是使用spring cloud config作为微服务配置管理，使用的是本地文件形式，今天我重新下载了一份配置，修改了配置服务的文件地址，然后config client的项目就启动不了了，一直报错：Could not resolve placeholder 'xxxx' in value "${xxxx}"开始以为是项目配置格式问题，后来想到应该是我改了config server的配置地址：spring:
application:
name: ms-config-server
profiles:
active: native
c...
freemarker嵌套循环用法
原创 2019-12-27 16:37 阅读(494)次
ftl模板文件中如果需要使用循环，表达式如下：<#list tableList as table> ${table.table_name} <#list table.schemaList as field> ${field_index+1} ${field.column_name} </#list></#list>其中${field_index+1}为序号。
windows启动zookeeper后报错：No snapshot found, but there are log entries. Something is broken!
原创 2019-12-17 10:38 阅读(738)次
windows启动zookeeper后报错：No snapshot found, but there are log entries. Something is broken!解决办法：由于我修改了如下地址dataDir=E:/mytools/apache-zookeeper/apache-zookeeper-3.5.5-bin/data/dataLogDir=E:/mytools/apache-zookeeper/apache-zookeeper-3.5.5-bin/log/于是启动就报错了，于把这两个目录之前生成的数据与日志文件删除了就ok了
activemq同步异步
原创 2019-12-11 01:33 阅读(250)次
https://www.jianshu.com/p/58e9deae6c4bhttps://blog.csdn.net/yaoqinggg/article/details/79833378https://blog.csdn.net/lzb348110175/article/details/100033770https://blog.csdn.net/lan12334321234/article/details/84912194https://www.cnblogs.com/allenwas3/p/8600638.html
Caused by: java.net.BindException: Address already in use: connect
原创 2019-12-05 17:23 阅读(395)次
在用jmeter测试seata性能时，并发到了200多，部分请求能正常访问，部分却报地址被占用Caused by: feign.RetryableException: Address already in use: connect executing POST http://mcu-stock/api/stockInfo/saveStockDetail看了下jmeter请求日志，jmeter自身也在报这个错误java.net.BindException: Address already in use: connect明显这个错误跟我们看到的tomcat端口被占用不一样我服务端feign错误日志...
svn 'xxx' is already locked 更新不了解决办法
原创 2019-12-02 14:36 阅读(302)次
今天更新自己的svn的代码，可能是网络中断了，再次更新报错：'E:\我的文档\myfile' is already locked.Please execute the 'Cleanup' command.一直更新更新不下来，总是报，按照提示执行cleanup也不行。于是看到svn上有个get lock的功能，点了下居然可以了。就是在我要更新的文件上右键TortoiseSvn-> Get Lock-> OK就可以更新了
在gitlab中创建项目后如何用git初始上传项目
原创 2019-11-28 16:06 阅读(869)次
在gitlab上创建项目后，需要初始提交代码，gitlab在项目创建后也有命令提示如何提交，不过提交过的项目就没有了，这里做个记录，如何初始提交项目到gitlab让同事们来下载有两种方法(1)、本地仓库初始化方式提交进入要提交的目录，右键打开git bash初始化一个新本地仓库git init关联远程仓库git remote add origin http://192.168.15.128:8035/kafa/mycloud.git把要提交的项目复制到这个目录中并加到本地仓库暂存区git add .设置这个本地仓库对应gitlab的用户，（这个用户只会在这个本地仓库有用，不影响别的仓库）git...
centos7使用docker安装gitlab
原创 2019-11-28 15:13 阅读(361)次
安装前要确认机器配置，需要2核2G内存，如果是VM虚拟机可以调整配置再安装否则安装会不成功一直报错：GitLab is taking too much time to respond，另外gitlab启动需要一定时，启动期间这个错误也会看到安装开始docker search gitlabdocker pull gitlab/gitlab-ce运行docker run -d -p 443:443 -p 8011:8011 -p 2222:22 --name gitlab --restart always -v /home/docker/gitlab/config:/etc/gitla...
dubbo项目consumer和provider的启动顺序问题
原创 2019-11-11 12:42 阅读(630)次
dubbo项目服务调用端consumer默认需要服务提供端provider先启动才能启动，否则会报错： Failed to check the status of the service xxxx. No provider available for the service xxxx这是由于consumer端默认会检查项目里服务提供者是否可用，所以这要求dubbo项目之间要有启动顺序，这显然不符合我们日常开发与部署，谁知道微服务中谁调用谁呢，况且项目之间并不是单纯的服务提供者与调用者，可能会杂在一起，不过dubbo已经提供了关闭这个检查的配置它可以配置在@Reference注解上 @...
sprinb boot整合apache dubbo时报错 java.lang.NoClassDefFoundError: org/apache/curator/utils
原创 2019-11-11 12:14 阅读(991)次
搭建spring boot + dubbo微服务时，有个服务工程一直报错：Caused by: java.lang.NoClassDefFoundError: org/apache/curator/utils/DefaultZookeeperFactory
at org.apache.curator.framework.CuratorFrameworkFactory.<clinit>(CuratorFrameworkFactory.java:66) ~[curator-framework-4.0.1.jar:4.0.1]
at org.apache.dubbo.remoti...
spring boot整合apache dubbo时报错ConfigFileApplicationListener.supportsSourceType(Ljava/lang/Class;)Z
原创 2019-11-10 23:24 阅读(1110)次
spring boot整合apache dubbo时报错：Exception in thread "main" java.lang.AbstractMethodError: org.springframework.boot.context.config.ConfigFileApplicationListener.supportsSourceType(Ljava/lang/Class;)Z
at org.springframework.context.event.GenericApplicationListenerAdapter.supportsSourceType(Ge...
java解析request或url中的参数工具类代码
转载 2019-11-05 21:21 阅读(637)次
无论我们在做爬虫时还是在做访问日志解析时，都需要java获取request中的参数、java解析URL问号后的参数。有时候我们需要从request中获取参数，或者获取拼接在Url后面的参数，有时候一个一个去拿有点麻烦，一起拿出来放在一个map里面需要用哪个就取哪个，方便省事代码转载https://www.bbsmax.com/A/GBJrq74Wz0/上代码：import java.io.UnsupportedEncodingException;
import java.net.URLDecoder;
import java.util.HashMap;
import java.util....
