如何在.NET Core中利用 Web APi对文件进行分片上传
创始人
2024-11-27 09:22:08
0次

.NET Core Web APi文件分片上传

这里我们依然是使用FormData来上传,只不过在上传之前对文件进行分片处理,如下HTML代码


  
    
      
    
  
                   
  

接下来则是上传脚本,如下:

$(function () {
  $('#submit').click(function () {
    UploadFile($('#file')[0].files);
  });
});

简单来说只需实现上述UploadFile方法,对大文件进行分片处理,然后上传就完事,文件上传后大致如下图所示,最后只需将所有文件进行合并处理为目标文件即可

如何在.NET Core中利用 Web APi对文件进行分片上传

接下来我们详细讲讲如何实现,当然重点就在于如何进行分片处理,我们拿到上传目标文件,然后通过slice方法进行分片,在分片处理之前我们定义缓冲区大小(默认为8兆),然后循环遍历文件大小,然后将分片数据塞入分片数组,最后利用循环或者队列先进先出机制获取数组分片元素上传。

function UploadFile(targetFile) {
    // 创建上传文件分片缓冲区
    var fileChunks = [];
    // 目标文件
    var file = targetFile[0];
    // 设置分片缓冲区大小
    var maxFileSizeMB = 8;
    var bufferChunkSize = maxFileSizeMB * (1024 * 1024);
    // 读取文件流起始位置
    var fileStreamPos = 0;
    // 设置下一次读取缓冲区初始大小
    var endPos = bufferChunkSize;
    // 文件大小
    var size = file.size;
    // 将文件进行循环分片处理塞入分片数组
    while (fileStreamPos < size) {
      var fileChunkInfo = {
        file: file.slice(fileStreamPos, endPos),
        start: fileStreamPos,
        end: endPos
      }
      fileChunks.push(fileChunkInfo);
      fileStreamPos = endPos;
      endPos = fileStreamPos + bufferChunkSize;
    }
    // 获取上传文件分片总数量
    var totalParts = fileChunks.length;
    var partCount = 0;
    // 循环调用上传每一片
    while (chunk = fileChunks.shift()) {
      partCount++;
      // 上传文件命名约定
      var filePartName = file.name + ".partNumber-" + partCount;
      chunk.filePartName = filePartName;
      // url参数
      var url = 'partNumber=' + partCount + '&chunks=' + totalParts + '&size=' + bufferChunkSize + '&start=' + chunk.start + '&end=' + chunk.end + '&total=' + size;
      chunk.urlParameter = url;
      // 上传文件
      UploadFileChunk(chunk);
    }
}

上述关于分片塞入数组就不用再废话,这里我们将每一片文件命名先进行一个约定(文件名+“.partNumber” + 分片号),以便所有分片上传完成后获取按照文件名中的分片号对其进行排序合并,这也就是合并文件的依据。接下来就是上传每一片文件

function UploadFileChunk(chunk) {
  var data = new FormData();
  data.append("file", chunk.file, chunk.filePartName);
  $.ajax({
    url: '/api/upload/upload?' + chunk.urlParameter,
    type: "post",
    cache: false,
    contentType: false,
    processData: false,
    data: data,
  });
}

我们可以看到在URL上额外加了其他参数,为什么要加上这些参数呢?主要为解决几个问题,其一:前端确认缓冲区大小,我们获取前端确认的缓冲区大小,这样后台不用写死,更加灵活,万一后续进行了修改,谁知道呢?其二:我们怎么确定文件是否已经全部上传完了呢?在URL上我们添加分片总数和文件实际大小来完全确定文件已经全部上传和文件完整无缺。当然也额外添加了每一片读取的起始位置和结束位置,若有所需也可以利用。多余的就不用我再解释。接下来我们看看后台如何对每一片进行处理呢?在.NET Core中实际上提供了对应APi来专门读取FormData数据,利用Microsoft.AspNetCore.WebUtilities命名空间下的MultipartReader类。

如何在.NET Core中利用 Web APi对文件进行分片上传

首先我们判断是否请求内容是否为FormData,同时通过上下文获取上述文件读取类的参数boundary,如下:

private bool IsMultipartContentType(string contentType)
{
  return
    !string.IsNullOrEmpty(contentType) &&
    contentType.IndexOf("multipart/", StringComparison.OrdinalIgnoreCase) >= 0;
}

private string GetBoundary(string contentType)
{
  var elements = contentType.Split(' ');
  var element = elements.Where(entry => entry.StartsWith("boundary=")).First();
  var boundary = element.Substring("boundary=".Length);
  if (boundary.Length >= 2 && boundary[0] == '"' &&
    boundary[boundary.Length - 1] == '"')
  {
    boundary = boundary.Substring(1, boundary.Length - 2);
  }
  return boundary;
}

private string GetFileName(string contentDisposition)
{
  return contentDisposition
    .Split(';')
    .SingleOrDefault(part => part.Contains("filename"))
    .Split('=')
    .Last()
    .Trim('"');
}

接下来我们定义分片类而获取URL上每一片的参数,如下:

public class FileChunk
  {
    //文件名
    public string FileName { get; set; }
    /// 
    /// 当前分片
    /// 
    public int PartNumber { get; set; }
    /// 
    /// 缓冲区大小
    /// 
    public int Size { get; set; }
    /// 
    /// 分片总数
    /// 
    public int Chunks { get; set; }
    /// 
    /// 文件读取起始位置
    /// 
    public int Start { get; set; }
    /// 
    /// 文件读取结束位置
    /// 
    public int End { get; set; }
    /// 
    /// 文件大小
    /// 
    public int Total { get; set; }
  }

接下来在提交控制器方法上去读取每一片数据如下

if (!IsMultipartContentType(context.Request.ContentType))
{
  return BadRequest();
}

var boundary = GetBoundary(context.Request.ContentType);
if (string.IsNullOrEmpty(boundary))
{
  return BadRequest();
}

var reader = new MultipartReader(boundary, context.Request.Body);

var section = await reader.ReadNextSectionAsync();

然后就是循环每一片(section),若不为空说明还存有分片文件,然后读取URL上的缓冲区大小,如下:

while (section != null)
{
  //chunk为控制器方法上类FileChunk参数
  var buffer = new byte[chunk.Size];
  var fileName = GetFileName(section.ContentDisposition);
  //这里获取文件名便于查找指定文件夹下所有文件
  chunk.FileName = fileName;
  var path = Path.Combine(_environment.WebRootPath, DEFAULT_FOLDER, fileName);
  using (var stream = new FileStream(path, FileMode.Append))
  {
    int bytesRead;
    do
    {
      bytesRead = await section.Body.ReadAsync(buffer, 0, buffer.Length);
      stream.Write(buffer, 0, bytesRead);

    } while (bytesRead > 0);
  }

  section = await reader.ReadNextSectionAsync();
}

在利用内置APi读取FormData数据时,在.NET Core 3.x会抛出如下异常:

如何在.NET Core中利用 Web APi对文件进行分片上传

大致原因出在.NET Core内置提供了对于参数的绑定和此方法读取貌似有点冲突导致,我们实现如下特性移除对应绑定,然后将其添加到文件上传方法上即可

[AttributeUsage(AttributeTargets.Class | AttributeTargets.Method)]
public sealed class DisableFormValueModelBindingAttribute : Attribute, IResourceFilter
{
  public void OnResourceExecuting(ResourceExecutingContext context)
  {
    var factories = context.ValueProviderFactories;
    factories.RemoveType();
    factories.RemoveType();
    factories.RemoveType();
  }

  public void OnResourceExecuted(ResourceExecutedContext context)
  {
  }
}

所有分片文件上传完成后则是合并文件,合并的依据则是判断URL上当前分片数和分片总数是否相等,如下:

//计算上传文件大小实时反馈进度(TODO)

//合并文件(可能涉及转码等)
if (chunk.PartNumber == chunk.Chunks)
{
  await MergeChunkFile(chunk);
}

既然是合并文件那就需要通过分片文件名称上末尾的分片号进行排序和拿到每一个分片文件路径以便合并后删除所有分片文件,所以我们定义如下类

public class FileSort
{
  public const string PART_NUMBER = ".partNumber-";
  /// 
  /// 文件名
  /// 
  public string FileName { get; set; }
  /// 
  /// 文件分片号
  /// 
  public int PartNumber { get; set; }
}

最终合并文件方法,如下:

public async Task MergeChunkFile(FileChunk chunk)
{
  //文件上传目录名
  var uploadDirectoryName = Path.Combine(_environment.WebRootPath, DEFAULT_FOLDER, chunk.FileName);

  //分片文件命名约定
  var partToken = FileSort.PART_NUMBER;

  //上传文件实际名称
  var baseFileName = chunk.FileName.Substring(0, chunk.FileName.IndexOf(partToken));

  //根据命名约定查询指定目录下符合条件的所有分片文件
  var searchpattern = $"{Path.GetFileName(baseFileName)}{partToken}*";

  //获取所有分片文件列表
  var filesList = Directory.GetFiles(Path.GetDirectoryName(uploadDirectoryName), searchpattern);
  if (!filesList.Any()) { return; }

  var mergeFiles = new List();
  foreach (string file in filesList)
  {    var sort = new FileSort
    {
      FileName = file
    };

    baseFileName = file.Substring(0, file.IndexOf(partToken));

    var fileIndex = file.Substring(file.IndexOf(partToken) + partToken.Length);

    int.TryParse(fileIndex, out var number);
    if (number <= 0) { continue; }

    sort.PartNumber = number;

    mergeFiles.Add(sort);
  }  // 按照分片排序
  var mergeOrders = mergeFiles.OrderBy(s => s.PartNumber).ToList();

  // 合并文件
  using var fileStream = new FileStream(baseFileName, FileMode.Create);
  foreach (var fileSort in mergeOrders)
  {
    using FileStream fileChunk =
       new FileStream(fileSort.FileName, FileMode.Open);
    await fileChunk.CopyToAsync(fileStream);
  }

  //删除分片文件
  DeleteFile(mergeFiles);

}

public void DeleteFile(List files)
{
  foreach (var file in files)
  {
    System.IO.File.Delete(file.FileName);
  }
}

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...