#### 异常问题
项目并发测试一个功能时报创建不了本地线程，如下：

```
Caused by: java.lang.OutOfMemoryError: unable to create new native thread 
	at java.lang.Thread.start0(Native Method) 
	at java.lang.Thread.start(Thread.java:717) 
	at java.util.concurrent.ThreadPoolExecutor.addWorker(ThreadPoolExecutor.java:957) 
	at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1367) 
	at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:134) 
	at cn.com.datu.search.impl.AccompanyPersonSearchImpl.initFaceSameWayList(AccompanyPersonSearchImpl.java:113) 
	at cn.com.datu.service.impl.ResultRecordServiceImpl.queryFaceSameWayDataList(ResultRecordServiceImpl.java:444) 
	at cn.com.datu.controller.FaceSameWayController.query(FaceSameWayController.java:119) 
	at sun.reflect.GeneratedMethodAccessor221.invoke(Unknown Source) 
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
	at java.lang.reflect.Method.invoke(Method.java:498) 
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:209) 
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:136) 
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:102) 
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:877) 
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:783) 
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87) 
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:991) 
	... 59 common frames omitted 
```

#### 解决过程

看到OutOfMemoryError，我们就会想到内存不足，但是项目里的这个功能应该吃不了太多内存，主要是数据库操作。

再看unable to create new native thread，难道是线程栈内存给高了？看了下项目启动的内存配置信息，如下：
```
-Xms2048m -Xmx2048m -Xss512K
```
-Xss也只给了512，应该不大啊。没有解决问题的头绪。

这个功能是我一个同事开发的，并不是我，我只好硬着头再看看对应的代码，发现代码里每次HTTP请过来都会创建一个线程池来处理这次请求，问了同事才知道这是为了加快处理请求而加上了多线程处理。

看了下每次请求会创建线程数为30的线程池，并发请求10就是10*30个线程会被创建出来。占用内存只有150MB左右，应该不是内存不够的问题。

我将他线程池改为10个线程（原先30个），再用10并发请求测试一下，发现持续并发一会还是会报创建不了线程。应该是有什么其他问题影响了。

再想了下线程跟文件句柄有关，看了下docker里的最大打开文件数，再看看宿主机的打开文件数配置，都还正常。（我们项目运行在K8s上面）

![](http://img.classinstance.cn/20210408/1617848333804.png)

如上图所示，open files数字还挺大的，我们这个测试场景达不到这么高，所以也排除系统参数问题。

这时只好在并发测试过程中，使用jstack命令将jvm线程信息导出定位问题了。

由于测试刚开始不会报错，需要持续2分钟左右才会报创建不了本地线程，所以我用jstack在这2分钟中内分别导出了4份线程栈信息，命令如下：

```shell
jstack -l 1 > /jstack1.txt
```

然后叫运维把这4份日志从容器中复制出来给我，我统计了下并发测试的功能线程池对应的线程数最高的日志中居然有600多个，按理说10个并发乘以一个池10个线程数总线程数量不会超过100个啊，这怎么是600多个！！

![](http://img.classinstance.cn/20210408/1617849147495.jpg)

当然也可以用如下简单命令查看对应线程数量，前提是线程池取了对应名称，统计jvm中业务线程命令如下：

```shell
jstack -l 1 > /jstack.txt && grep -o "线程名" /jstack.txt | wc -l
```

所以问题已经很明显了，应该是线程没有被正常回收，有泄漏。

再看看同事写的线程池代码，如下：

```java
            //创建线程池
			ThreadFactory factory = new ThreadFactoryBuilder().setNameFormat("face-same-way-%d").build();
            ThreadPoolExecutor executor = new ThreadPoolExecutor(accompanyPersonThread, accompanyPersonThread,
                    0, TimeUnit.SECONDS, new LinkedBlockingQueue<Runnable>(1024),factory);
            List<Future<String>> threadList = new ArrayList<>();

for (int i = 0; i < dateList.size(); i++) {
                ...
				//提交任务
                threadList.add(executor.submit(new AccompanyPersonAnalysisThread(dto)));
            }
            for (Future future : threadList) {
                future.get(30, TimeUnit.SECONDS);
            }
            threadList.clear();
```

这时我才顿悟，线程池没有shutdown！！

如果不shutdown，不主动关闭线程池的话，池里会有些休眠的线程，通常会在1分钟以后再被关掉，然后就出现了上面的从100个线程慢慢堆积到了600个线程了。

修改代码，加上shutdown：
```java
            executor.shutdown();
            while (!executor.isTerminated()) {
                TimeUnit.MILLISECONDS.sleep(100L);
            }
```
再用10个和30个并发都不会再出现无法创建线程了。

ClassInstance

解决java.lang.OutOfMemoryError: unable to create new native thread

相关文章

推荐文章

热门文章

标签列表