搜索:数据库

json转List<T>组泛型如何转

原创 2021-07-08 16:18 阅读(19)次
json转List数组泛型如何转? 我们可以使用fastjson,如下代码: ```java List cacheList = JSON.parseObject(deviceListJson, new TypeReference>() {}); ``` 如上代码是想把json转成数组,Ape是我们的实体类。 pom就不贴了

clickhouse清空表数据

原创 2021-05-25 18:30 阅读(702)次
最近看到很多朋友问clickhouse如何清空表数据?或者有没有像mysql一样truncate删除整张表数据的语句呢? 答案是:没有。它只提供如下语句: ALTER TABLE 表名 DELETE WHERE 条件 . 并且这语句性能不是很好,也是异步删除,语句执行成功不代表真的成功。 当然你也可以使用删除分区的方式达到清空表的目的,但提前你得一个一个分区的删,太麻烦了。 那么现在你知道了:你想快速清空表,只能重建表了。 重建表要先drop表,如下: drop table 表名 . 如果你的表是在集群下,也可以使用分布式DDL来删除和重建表。 ...

hadoop运行mapreduce报错Error: Could not find or load main class

原创 2021-05-23 15:42 阅读(82)次
#### 异常问题: 今天运行word count单词统计示例,hadoop运行mapreduce报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 详细错误信息如下: ```xml Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-sit...

安装Hadoop伪分布式模式教程,版本为Hadoop3.1.4

原创 2021-05-22 18:33 阅读(75)次
Hadoop有三种安装模式,今天分享其中一种:伪分布式模式。 下载地址:https://hadoop.apache.org/releases.html 安装过程中解决了一些坑点,具体如下: 这种模式只需要一台服务器即可 ##### 1.上传hadoop-3.1.4.tar.gz到服务器中,解压 tar -zxvf hadoop-3.1.4.tar.gz ##### 2.修改机器名 hostnamectl set-hostname hd1 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node01 v...

postgresql数据库表分区字段有必要创建索引么?

原创 2021-04-08 09:45 阅读(99)次
postgresql数据库表分区后,分区字段有必要创建索引么? 昨天项目上线前进行性能并发测试,发现一个简单请求单并发要1分多钟,我进行代码跟踪了下,最终定位到如下SQL语句代码: ```xml select min(collect_time) from A ``` 我才想起来这个是我写的,当时是认为A表用collect_time字段做了分区,应该不用给collect_time字段做索引了,而且A表中已经有6个索引字段了,生怕创建太多索引而影响写入性能。 但性能测试环境中A表有6亿数据,上面这个查询就显的力不从心。于是...

java使用snakeyaml读取和操作yml文件

原创 2021-03-11 16:17 阅读(114)次
随着spring boot项目的流行,现在已有很多项目在使用yml文件来配置我们的项目。其中也有一些中间件比如elasticearch配置文件都在用yaml文件来配置。 有时我们会有一些需求,比如动态配置,动态读取yml文件来操作我们的配置文件,那么这时就需要解析yml文件了。 那java中如何读取和操作yml文件呢?答案是snakeyaml库。 引入jar包: ```xml org.yaml snakeyaml 1.25 ``` 下面分享一些资料: 官方api与文档: https://bitbucket.org/aso...

es7.x版本如何获取查询命中的文档总

原创 2021-03-03 11:26 阅读(403)次
#### 前言 早在elasticsearch6.x版本时,es查询时默认会显示hits total总数,当然聚合场景下是不会的。目前我们项目将es6.8升级到7.6,一些普通查询,总数显示不正常了,最大只显示10000条。 比如查询语句如下: ```json GET bd_frequent_test/_search { "query": { "match_all": {} } } ``` 查询结果如下: ```json { "took": 1, "timed_out": false, "_shards": { "total": ...

Es 7.x版本批量写入数据路由字段报错:Action/metadata line [1] contains an unknown parameter [_routing]

原创 2021-03-02 19:02 阅读(351)次
#### 异常问题 在使用elasticsearch7版本批量插入数据时,因为设置了路由,一直报错:Action/metadata line [1] contains an unknown parameter [_routing] 具体错误信息如下: ```json {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_routing]"}],"type":"illegal_argu...

clickhouse如何删除数据库和创建数据库以及分布式DDL创建数据库

原创 2021-02-25 17:20 阅读(908)次
#### 前言 我们使用clickhouse大部分情况都是使用集群模式,那么我们希望创建库或删除库时都是一条语句在集群所有节点中运行,而不是手动在各节点单独执行创建或删除库。 语句如下: #### 1.clickhouse删除数据库 ```sql drop database base_db ``` #### 2.存在时再删除数据库 ```sql drop database IF EXISTS base_db ``` IF EXISTS是可选的 #### 3.分布式DDL删除数据库 ```sql drop database IF E...

java组转list

原创 2020-12-16 17:54 阅读(218)次
java中数组如何转list或者说ArrayList,每次码代码时,遇到这个问题都要想一下,这里给自己记录下,免得每次都跳坑。数组转list,有两种方法,代码如下: //方法一 List<String> lista = Arrays.asList(split); //方法二 List<String> listb = new ArrayList<>(split.length); Collectio...

clickhouse如何删除数据

原创 2020-11-27 18:09 阅读(8984)次
clickhouse删除数据提供了三种方式:一、是删除分区,数据就会删除掉二、是通过Alter语句删除数据三、是还可以通过设置日期字段或表的TTL生命周期,到期自动清除数据注意:上面前2点都可以使用分布式DDL删除集群各节点数据,第三点是创建表时定义的,暂时不提。1.删除分区alter table 表名 drop partition 分区名分区名可以用下语句查询select * from system.parts p where table = '表名'以我下面这张表为例,分区函数是toYYYYMMDD(collect_time),按天分区,那分区名就是20201010这样的日期格式,只要按这...

quartz定时器改名后报错,删除多余的定时表数据

原创 2020-09-27 16:55 阅读(500)次
quartz定时器改名后报错,需要清除原来表中的对应数据,删除多余的定时表数据删除语句如下,对应的定时信息要传入:DELETE from qrtz_cron_triggers where TRIGGER_NAME = 'personTimeSpaceTaskTrigger'; DELETE from qrtz_triggers where TRIGGER_NAME = 'personTimeSpaceTaskTrigger'; DELETE from qrtz_job_details where JOB_NAME = 'personTimeSpaceTask'; DELETE from ...

postgresql主从复制时报错:no pg_hba.conf entry for replication connection from host "192.168.15.131", user

原创 2020-03-20 13:39 阅读(1369)次
今天在部署postgresql主从复制时,复制一直不成功,检查了主从库的配置没发现什么问题,于是修改主库的配置,修改postgresql.conf:logging_collector = on将日志功能打开,重启主库看到日志一直在报错:FATAL: no pg_hba.conf entry for replication connection from host "192.168.15.131", user "replicator", SSL off我以为pg_hba.conf中配置了如下就可以:local replication all ...

linux下docker安装postgreSql数据库,附带启动脚本

原创 2020-03-19 11:14 阅读(688)次
docker这东西安装中间件真是方便,不需要再去手动下载安装包,省事,今天分享一下我在docker中安装postgresql数据库的过程。1.搜索docker search postgresql2.上面可以看到NAME为postgres的镜像,直接安装,我选择的是10.5版本docker pull postgres:10.53.经过10分钟左右,镜像下载下来了,查看一下docker image listREPOSITORY          TAG              ...

利用fastJson保证数据字段顺序做api数据签名加密

原创 2020-01-08 17:28 阅读(870)次
我们在开发api接口时,尤其是开放给第三方使用的接口,通常会对接口参数做签名加密校验。我看了下大部分人都只是把url上的参数放到TreeMap中做加密:import org.apache.commons.codec.digest.DigestUtils; import java.io.UnsupportedEncodingException; import java.util.Map; import java.util.TreeMap; /** * @Author: rongrong * @Date: 2018/4/23 * @Description: */ publ...

java解析request或url中的参工具类代码

转载 2019-11-05 21:21 阅读(1225)次
无论我们在做爬虫时还是在做访问日志解析时,都需要java获取request中的参数、java解析URL问号后的参数。有时候我们需要从request中获取参数,或者获取拼接在Url后面的参数,有时候一个一个去拿有点麻烦,一起拿出来放在一个map里面需要用哪个就取哪个,方便省事代码转载https://www.bbsmax.com/A/GBJrq74Wz0/上代码:import java.io.UnsupportedEncodingException; import java.net.URLDecoder; import java.util.HashMap; import java.util....

java中jsoup解析爬虫获取的页面html数据,轻松实现一个爬虫

原创 2019-11-05 16:16 阅读(1699)次
最近在找工作,看看各大人才网上的工作岗位,搜索了一下自己住所附近的工作,搜索功能好像对地址搜索不是很友好,于是自己想爬一下各大人才网上的数据,以便自己好搜索,并不商用也不开放数据,话说最近反爬虫很严啊,不过想来自己只是爬取公开的数据,并且不会影响目标网站的正常运行,应该是没事的,这里也希望大家遵守爬虫协议。jsoup是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据以某人才网为例,把他的搜索地址中的搜索词和页码动态传入参数,用Jsoup解析dom就可以把想要搜索的岗位数...

select2级联+ajax动态数据

原创 2019-09-05 21:23 阅读(897)次
上一篇,我分享了select2 ajax动态加载数据:http://classinstance.cn/detail/59.html这次,我分享select2要实现级联,如下图:直接上代码html:<div class="form-group"> 公司: <select class="js-example-data-ajax" style="width: 200px" id="companyId"> </select> 门店: <select class=...

canal client同步数据报错:Nested repetitions *?+ in expression

原创 2019-08-23 18:33 阅读(671)次
canal同步mysql数据时报错:2019-08-23 18:17:10.504 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address 127.0.0.1/127.0.0.1:3306 has an error, retrying. caused by com.alibaba.otter.canal.parse.exception.CanalParseExcept...

select2下拉选择框ajax搜索加载数据

原创 2019-08-13 14:52 阅读(857)次
前端表单需要使用ajax查询数据并选择的场景很多,今天就想起使用select2处理这样的问题,记录一下代码,省的每次都去网上找。上代码:引入select2<link href="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.8/css/select2.min.css" rel="stylesheet" /> <script src="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.8/js/select2.min.j...

因磁盘满了Mysql数据库宕机的解决办法

原创 2018-05-07 10:59 阅读(1331)次
今天发现数据库宕机了,周五的时候看到磁盘快满了,于是叫同事清理一下数据,没想到他删除的数据量有点大,delete语句执行了一天没删除完,而数据库在周六正好硬盘满了,于是数据库就在执行大事务的同时因为硬盘满了而宕机了。于是本人要恢复数据库,直接启动是启动不了,没空间了,只能把其中一个数据库搬到另一个盘中,释放空间了。我这个数据库实例中有两个数据库,一个叫bdad,一个叫weibo,如下图所示:如上图所示:/data/mysql-data/mysql是我的数据库目录,里有两个数据库bdad,weibo我把weibo这个库搬到了/home目录下,并给这个库创建了软链,相当于两个库使用不同的硬盘工作。...

emoji表情在Mysql数据库中乱码问题总结

原创 2018-03-01 12:32 阅读(1226)次
最近在爬取微博数据中发现有些数据保存失败,调试后发现都是emoji表情保存到数据库后乱码造成的。我的Mysql编码都是utf8,Emoji表情占用4个字节,但是MySQL数据库UTF-8编码最多只能存储3个字节,所以乱码了。下面我总结一下我知道的处理方式:1.保存前使用emoji的官方jar包提供的方法将表情转成代码,再保存2.设置数据库的字符编码为支持emoji表情的字符集:utf8mb43.如果可以,我说如果可以。。。过滤掉吧一、emoji表情转成代码保存例如: 😁 我可以存储为:smile:,😭存储为:cry:,等等,可以这样映射起来。这种方法要使用jar包提供的方法,...

聊聊数据保存到MySQL后数据乱码的问题

原创 2018-02-10 17:20 阅读(756)次
经常我们会碰到数据乱码的问题,有页面乱码,java运行时变量里的数据乱码,数据库表数据乱码。我今天主要说说我在工作中遇到的数据库表数据乱码问题怎么解决。当我们表里数据保存后发现乱码,首先我们要确定数据的来源以及中间处理层的字符集编码是不是一致,比如我们用java从文件中读取一段utf-8的文字然后保存到数据库中时,首先我们得用utf-8编码读取并用utf-8保存到数据库中。也就是说java应用层和数据库的编码必须一致才不会出现乱码。应用层的编码我们暂时不说,我主要分享一下mysql数据库中的乱码如何解决,关于乱码为什么会出现或者说原理我也讲不通,给个链接,大家自己看,乱码是怎么形成的?我们出现...

solr实现随机查询数据

原创 2018-02-07 16:14 阅读(1446)次
我们数据库实现随机查询数据语句如下:select * from product ORDER BY RAND() limit 10上面的语句是随机查询10条商品数据,但我们要想在solr下怎么实现类似这样的随机查询呢?我查了下solr的查询API,都没有找到随机查询的方法。还好百度是万能的,还是在网上找到了解决方案。大家可以参考:solr随机排序要实现这个随机查询,其实就是用solr的动态字段,在schema.xml中配置一个随机类型的字段,用来随机排序,配置如下:<dynamicField name="rand*" type="random" in...

Parameter index out of range (1 > number of parameters, which is 0

原创 2018-01-09 15:20 阅读(715)次
用hibernate操作数据库时,写了一个模糊查询,用参数形式传入SQL,语句如下:select *  from article where 1=1 and title like '%?%' order by create_time desc调用时传入参数时一直报错:Parameter index out of range (1 > number of parameters, which is 0,如图:我调试了下代码,参数都是没错的,语句中的问号也是没错的,后来百度了下,原来?问不能用引号''包着,否则会当成正式参数传入sql语句中,不会当成占位符。于是我把引号去掉...