java多任务分发 java多线程分片上传

多线程大文件分片上传思路分享

• 思路分析

思路分析

根据上图可以看出上传分片的整个思路，如果是同步上传的情况下是没有问题的，如果存在多线程上传，在“存入成功数量=总的分片数量”这步会存在问题，假设当前文件总的分片数量为：3，当第一个线程进入上传流程时，走到“存入成功数量=总的分片数量”，这个时候第二个、第三个线程已经进入到“存入分片文件”这一步，那么这个时候存入成功的数量是多少？如图：

如上图所示，这个时候的存入成功数量应该是3，在这种情况下，判断数量一致，我们再进行合并，但是中途会发生异常：提示资源被占用。

分析原因：存入的前提是需要创建一个空文件，再写入，第一个线程走到“存入成功数量=总的分片数量”判断是否全部上传完成是不准确的，有可能这个时候后面的线程只是创建了，但是还未写入完，还有可能是正在写入，而第一个线程的判断条件已满足了，就进行合并，这个时候就会出现资源被占用的情况，抛出异常。如图：

所以我们是要根据“写入成功的数量=总的分片数量”进行判断是否合并，才能处理文件资源被占用合并失败的异常。

怎么判断写入成功的数量？

根据个人的习惯，可以用缓存，也可以用全局变量，本人是用是NetCore中的ConcurrentDictionary（多个线程同时访问的键/值对的线程安全集合）进行存储的，判断集合数量是否等于分片总数量来进行判断合并的。有关问题交流，可以加群，相互学习，相互探讨。