ThreadLocal正确使用姿势，避免再掉坑
原创 2021-07-20 17:53 阅读(15)次
今天为了不改变方法的参数，使用ThreadLocal在线程内传值，一不小心就掉坑里了，发现数据错乱了，原因是：我的业务要求不是所有线程都要执行ThreadLocal.set动作，但是所有线程都要执行ThreadLocal.get，而我没执行ThreadLocal.remove动作。造成get的时候会取到上一条的数据，于是就数据错乱了，这里记录一下，怕自己又忘记了。
贴一下正确姿势代码：
```java
public class SendMessageRetryTheadLocal {
private static ThreadLocal sendMessageLogStor...
json转List<T>数组泛型如何转
原创 2021-07-08 16:18 阅读(19)次
json转List数组泛型如何转？
我们可以使用fastjson，如下代码：
```java
List cacheList
= JSON.parseObject(deviceListJson, new TypeReference>() {});
```
如上代码是想把json转成数组，Ape是我们的实体类。
pom就不贴了
Got error: 2002: Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) when
原创 2021-07-06 16:01 阅读(28)次
想在mysql服务器中导出数据库，用来暂时备份用，执行以下语句：
./mysqldump -d db -u root -p >db.sql
却报如下错误：
```
mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) when trying to connect
```
一般我们使用数据库都不会遇到这个问题，这估计是前人安装数据库时不负责，或者不按规范安装留下祸根，百度了下，最简单的解决办法是，找到当前mysql.sock的位置，修...
fastjson转字符串时保留null空字段
原创 2021-06-16 10:42 阅读(44)次
在使用fastjson时，有时我们需要将对象转成json字符串，但你会发现转换后的字符串中会少了null值的字段。
那fastjson转字符串后如何保留null空字段呢？
最直接的代码如下：
```java
String jsonStr = JSON.toJSONString(object, SerializerFeature.WriteMapNullValue);
```
java enum枚举转list和Map
原创 2021-06-10 15:08 阅读(81)次
java中如何将枚举的定义转成list或者Map，让我们更好的操作枚举值？
思路是使用枚举的values()方法，将枚举定义转成对应你想要的数据类型。
分享代码如下，其中AlarmType中定义了很多枚举值：
```java
public class EnumToListAndMap {
public enum AlarmType{
OVER_SPEEDING_ALARM("overSpeedingAlarm","超速行驶预警"),
DEVICE_IDLE_ALARM("deviceIdleAlarm","设备空闲预警"),
UNLOCK_ALAR...
如何清空或初始化quartz定时相关表时报外键引用错误
原创 2021-06-02 18:18 阅读(86)次
清空quartz定时相关表时会报外键引用错误
表列表如下：
外键引用错误就需要根据外键关系删除定时表数据，有外键关联的表和顺序如下：
qrtz_cron_triggers
qrtz_triggers
qrtz_job_details
qrtz_fired_triggers
清空表和删除表顺序执行如下语句：
```sql
DELETE from qrtz_cron_triggers ;
DELETE from qrtz_triggers ;
...
干货 | 吃透Elasticsearch 堆内存以及堆内存为什么不能超过32GB
转载 2021-05-30 17:43 阅读(79)次
1、什么是堆内存？
Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。
在 Java 中，堆被划分成两个不同的区域：
新生代 ( Young )、
老年代 ( Old )。
新生代 ( Young ) 又被划分为三个区域
Eden、
From Survivor、
To Survivor。
这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，包括内存的分配以及回收。
2、堆内存的作用是什么？
在虚拟机启动时创建。
堆内存的唯一目的就是创建对象实例，所有的对象实例和数组都要在堆上分配。
堆是由垃圾回收来负责...
clickhouse清空表数据
原创 2021-05-25 18:30 阅读(702)次
最近看到很多朋友问clickhouse如何清空表数据？或者有没有像mysql一样truncate删除整张表数据的语句呢？
答案是：没有。它只提供如下语句：
ALTER TABLE 表名 DELETE WHERE 条件
.
并且这语句性能不是很好，也是异步删除，语句执行成功不代表真的成功。
当然你也可以使用删除分区的方式达到清空表的目的，但提前你得一个一个分区的删，太麻烦了。
那么现在你知道了：你想快速清空表，只能重建表了。
重建表要先drop表，如下：
drop table 表名
.
如果你的表是在集群下，也可以使用分布式DDL来删除和重建表。
...
spring boot或spring cloud项目中使用系统环境变量问题
原创 2021-05-25 18:08 阅读(105)次
#### 前言
项目开发过程中有时候需要用环境变量来解决一些复杂配置的问题，比如同一个服务要部署多个实例，但这些实例需要使用不同的配置时，这些就可以用环境变量来解决，这不管是原始的部署方式或使用k8s部署方式都是可以使用环境变量来解决这种问题。
下面我们分享下开发和部署时怎么设置环境变量
#### 代码示例
先上示例代码，比如我们要在bootstrap.yml中读取env_test这个环境变量，如下配置：
```yaml
env:
test: ${env_test}
```
如果你遇到spring boot项目bootstrap.yml配置无法生效，可以看看我...
bootstrap.yml配置报错:Could not resolve placeholder 'xx' in value
原创 2021-05-25 17:20 阅读(80)次
今天在bootstrap.yml加了一个配置，一直读取不到，一直报如下错误：
```
java.lang.IllegalArgumentException: Could not resolve placeholder 'env.test' in value "${env.test}"
```
bootstrap.yml配置如下：
```yaml
env:
test: 1
```
代码如下：
```java
@Component
public class EnvConfig {
@Value("${env.test}")
private S...
hadoop运行mapreduce报错Error: Could not find or load main class
原创 2021-05-23 15:42 阅读(82)次
#### 异常问题：
今天运行word count单词统计示例，hadoop运行mapreduce报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
详细错误信息如下：
```xml
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Please check whether your etc/hadoop/mapred-sit...
安装Hadoop伪分布式模式教程，版本为Hadoop3.1.4
原创 2021-05-22 18:33 阅读(75)次
Hadoop有三种安装模式，今天分享其中一种：伪分布式模式。
下载地址：https://hadoop.apache.org/releases.html
安装过程中解决了一些坑点，具体如下：
这种模式只需要一台服务器即可
##### 1.上传hadoop-3.1.4.tar.gz到服务器中，解压
tar -zxvf hadoop-3.1.4.tar.gz
##### 2.修改机器名
hostnamectl set-hostname hd1
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01
v...
调用别人的接口或第三方接口怎么做熔断（二）
原创 2021-05-18 16:27 阅读(143)次
上一篇文章《[调用别人的接口或第三方接口怎么做熔断](http://www.classinstance.cn/detail/152.html "调用别人的接口或第三方接口怎么做熔断")》我分享了自己在生产环境中遇到调用下游第三方服务异常几乎把自己服务拖跨的问题，以及分享了如何解决这个问题。
这篇主要分享如何用代码实现对第三方异常服务做熔断来保护自己的服务。
待续
调用别人的接口或第三方接口怎么做熔断
原创 2021-05-14 18:49 阅读(211)次
在我们开发过程中总会遇到开发服务接口给别人调用，或者让别人的服务提供接口给你调用。别人的服务调用我们的服务接口的情况，我们为了保护自己的服务不被高并发或者说大量请求压垮，往往会做限流或者熔断。但是我们调用别人的服务接口需要做限流或熔断么？
我们举个例子：
我们系统有个场景就是要将产生的预警信息快速同步给下游第三方服务中，实时性要求比较高。预警信息是从kafka中消费的，每一条预警信息都要发给多个第三方服务。大致流程如下：
图中一条预警信息从kafka拉取后...
java Md5工具类获取字符串的Md5值
原创 2021-05-14 10:02 阅读(75)次
java如何获取字符串的Md5值？
具体代码如下：
```java
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
public class Md5Utils {
public static String getMd5(String str) throws NoSuchAlgorithmException {
byte [] bytes = str.getBytes();
StringBuffer sb = n...
java List间计算并集、差集、交集以及去重
原创 2021-05-14 09:39 阅读(93)次
Java中如何计算两个List的并集、差集、交集？
并集和交集我们都很清楚，但其中这里说的差集是什么意思呢？指的是集合listA与listB差集，准确来说是用listB去删除listA中存在listB中的元素。
Java集合中针对这三个场景提供了三个方法。
- 并集使用list.addAll()方法；
- 差集使用list.removeAll()方法；
- 交集使用list.retainAll()方法；
其中removeAll和retainAll都会根据对象的equals方法来比对对象是否相等，要正确的使用这两个方法需要注意对象的类是否要重写equals和hashCode方...
LinkedBlockingQueue实现定长队列自动出队与读取队列
原创 2021-04-23 16:10 阅读(120)次
我要实现一个存储请求状态的队列缓存，需要用到LinkedBlockingQueue，实现定长队列自动出队，另外还要实现不出队的情况下读取队列数据。
代码如下：
```java
LinkedBlockingQueue queue = new LinkedBlockingQueue(3);
queue.offer(1);
queue.offer(2);
queue.offer(3);
boolean offer = queue.offer(4);
if(offer == false)...
解决java.lang.OutOfMemoryError: unable to create new native thread
原创 2021-04-08 10:40 阅读(97)次
#### 异常问题
项目并发测试一个功能时报创建不了本地线程，如下：
```
Caused by: java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:717)
at java.util.concurrent.ThreadPoolExecutor.addWorker(ThreadPoolExecutor.java:957)
at ...
postgresql数据库表分区字段有必要创建索引么？
原创 2021-04-08 09:45 阅读(99)次
postgresql数据库表分区后，分区字段有必要创建索引么？
昨天项目上线前进行性能并发测试，发现一个简单请求单并发要1分多钟，我进行代码跟踪了下，最终定位到如下SQL语句代码：
```xml
select min(collect_time) from A
```
我才想起来这个是我写的，当时是认为A表用collect_time字段做了分区，应该不用给collect_time字段做索引了，而且A表中已经有6个索引字段了，生怕创建太多索引而影响写入性能。
但性能测试环境中A表有6亿数据，上面这个查询就显的力不从心。于是...
clickhouse如何修改字段名
原创 2021-03-19 10:00 阅读(1440)次
clickhouse如何修改字段名？也就是如何对字段重命名？
早期版本是不支持的，在ClickHousereleasev20.4.2.9,2020-05-12版本之后就开始加入了这个特性。大家记得看看自己的版本。
语法如下：
```sql
ALTER TABLE visits RENAME COLUMN webBrowser TO browser
```
分布式集群下用分布式DDL修改字段名
```sql
ALTER TABLE visits on cluster shipin_cluster RENAME COLUMN webBrowser TO browser
`...
java使用snakeyaml库读取和操作yml文件
原创 2021-03-11 16:17 阅读(114)次
随着spring boot项目的流行，现在已有很多项目在使用yml文件来配置我们的项目。其中也有一些中间件比如elasticearch配置文件都在用yaml文件来配置。
有时我们会有一些需求，比如动态配置，动态读取yml文件来操作我们的配置文件，那么这时就需要解析yml文件了。
那java中如何读取和操作yml文件呢？答案是snakeyaml库。
引入jar包：
```xml
org.yaml
snakeyaml
1.25
```
下面分享一些资料：
官方api与文档：
https://bitbucket.org/aso...
maven jar包 搜索网址分享
原创 2021-03-10 19:40 阅读(150)次
我们java程序员开发时通常用maven引入jar包的形式导入工具库包。有时为了升级某个jar包时却不知道这个jar包有什么版本的，这时我们就需要去网络上搜索了。
这里分享几个网站，大家可以从上往下搜索你想要的jar包。
#### mvnrepository
http://mvnrepository.com/
#### maven.org
http://search.maven.org/
#### sonatype.org
https://re...
maven修改jar包版本不生效解决办法
原创 2021-03-10 16:18 阅读(755)次
今天在maven中修改一个jar包版本，想升级版本，却一直不生效。
pom文件如下：
```xml
org.eclipse.jgit
org.eclipse.jgit
5.1.3.201810200350-r
```
在当前工程查看这个jar包的版本是改过来了，从4.1变成了5.1。
如下图所示：
但是在另一个工程中引用这个工程时，这个jar包的...
Thumbnails使用方法（java图片处理工具类）
转载 2021-03-09 14:10 阅读(116)次
本文链接：https://blog.csdn.net/qq_25508039/article/details/82257436
#### 介绍
我们在java开发时，使用Thumbnails工具类能帮助我们对图片进行很好的处理，Thumbnails对图片的操作进行了很好的封装，往往很复杂的步骤能用一行代码就完成。
Thumbnails支持：
- 1. 指定大小进行缩放
- 2. 按照比例进行缩放
- 3. 不按照比例，指定大小进行缩放
- 4. 旋转
- 5. 水印
- 6. 裁剪
- 7. 转化图像格式
- 8. 输出到OutputStream
- 9. 输出到B...
java中BufferedImage转成 base64字符串
原创 2021-03-08 17:14 阅读(1062)次
java中BufferedImage转成base64字符串，代码如下：
```java
/**
* BufferedImage转成 base64
* @param bufferedImage
* @param imageFormatName
* @return
* @throws IOException
*/
public static String getBufferedImageToBase64(BufferedImage bufferedImage,String imageFormatName...
java下载图片
原创 2021-03-08 17:10 阅读(104)次
如何在后端代码中，使用java下载图片？
代码分享如下：
```java
/**
* 下载图片
* @param url
* @return
*/
public static BufferedImage downLoad(String url) {
// 获得Http客户端
CloseableHttpClient httpClient = HttpClientBuilder.create().build();
// 创建Get请求
HttpGet ht...
es7.x版本如何获取查询命中的文档总数
原创 2021-03-03 11:26 阅读(403)次
#### 前言
早在elasticsearch6.x版本时，es查询时默认会显示hits total总数，当然聚合场景下是不会的。目前我们项目将es6.8升级到7.6，一些普通查询，总数显示不正常了，最大只显示10000条。
比如查询语句如下：
```json
GET bd_frequent_test/_search
{
"query": {
"match_all": {}
}
}
```
查询结果如下：
```json
{
"took": 1,
"timed_out": false,
"_shards": {
"total": ...
Es 7.x版本批量写入数据路由字段报错:Action/metadata line [1] contains an unknown parameter [_routing]
原创 2021-03-02 19:02 阅读(351)次
#### 异常问题
在使用elasticsearch7版本批量插入数据时，因为设置了路由，一直报错：Action/metadata line [1] contains an unknown parameter [_routing]
具体错误信息如下：
```json
{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_routing]"}],"type":"illegal_argu...
Es创建索引mapping时报错:Root mapping definition has unsupported parameters: [doc
原创 2021-03-02 14:20 阅读(580)次
#### 异常问题
es7.x版本创建索引报如下错误：Root mapping definition has unsupported parameters: [doc
具体信息如下：
```json
{
"error" : {
"root_cause" : [
{
"type" : "mapper_parsing_exception",
"reason" : "Root mapping definition has unsupported parameters: [doc : {dynamic=false, prop...
docker构建体积较小的jdk镜像
原创 2021-03-01 14:28 阅读(286)次
#### 前言
我们一般在docker中运行java项目都会选择体积较小的jdk镜像，比如alpine-java构建的jdk镜像，但alpine安装软件并不方便，并且有些软件在alpine中并不好装。
例如我们java项目中使用tesseract来做图片文字识别，它在centos中很容易安装，在alpine环境中，怎么都没法安装成功，于是我们就需要构建一个有centos环境的jdk镜像
#### 构建有centos环境的jdk镜像
1.下载jre
下载地址：
https://www.java.com/en/download/manual.jsp
下载jre8.tar.gz，并不是...
