基于性能模型的神经网络推理延迟优化研究的任务书.docx

基于性能模型的神经网络推理延迟优化研究的任务书
一、选题背景及意义
神经网络是一种模仿生物神经系统的计算模型，具有自我学习和适应性等特点。它已经在计算机视觉、语音识别、自然语言处理等领域得到了广泛应用。然而，在这些应用中，神经网络的推理延迟往往是一个关键的问题。推理延迟指的是从输入数据到推理结果输出所需的时间延迟。对于实时应用，推理延迟需要尽可能地短。因此，优化神经网络的推理延迟对于提高计算效率，提高应用的性能和用户体验具有重要的意义。
目前，提高神经网络推理速度的常用方法是硬件加速和网络架构优化。硬件加速通常包括将神经网络的推理计算任务分配给特定的硬件，例如图形处理器(GPU)、数字信号处理器(DSP)、场可编程门阵列(FPGA)和专用ASICs等。在网络架构优化方面，研究人员通常采用各种技术来减少网络的参数、减小网络的深度、使用稀疏网络以及采用剪枝和量化技术等。
然而，这些方法主要从硬件和网络架构两个角度出发，不能对神经网络的推理过程本身进行细致的优化。所以，本次研究将从性能模型的角度出发，研究神经网络推理延迟优化的问题。
二、研究内容和任务安排
1.研究内容
本次研究旨在研究基于性能模型的神经网络推理延迟优化，主要包括以下内容：
（1）分析神经网络的推理过程，并建立相应的性能模型；
（2）探究神经网络中不同操作的速度影响因素，如计算、通信和存储等因素；
（3）基于性能模型和影响因素，研究神经网络的推理延迟优化方法；
（4）采用真实的神经网络模型，验证所提出的优化方法的有效性。
2.任务安排
（1）查阅相关文献，了解当前神经网络推理延迟优化的研究动态，总结发现和问题，并制定研究计划和任务分配。（任务时长：2周）
（2）分析神经网络推理的性能模型，并探究神经网络中不同操作的速度影响因素，如计算、通信和存储等因素。（任务时长：4周）
（3）基于性能模型和影响因素，研究神经网络推理延迟优化方法，参考现有技术和方法。（任务时长：4周）
（4）采用真实的神经网络模型，验证所提出的优化方法的有效性，并与现有方法进行比较。（任务时长：4周）
（5）实验结果分析、总结及论文撰写工作。（任务时长：2周）
三、预期成果
（1）建立神经网络推理性能模型，提出影响神经网络推理延迟的因素；
（2）提出基于性能模型的神经网络推理延迟优化方法；
（3）验证所提出的优化方法的有效性，并与现有方法进行比较；
（4）撰写学位论文一篇。
四、参考文献
[1]CaoY,ChenY,ZhangY,etal.CNNPACK:PackingConvolutionalNeuralNetworksintheFrequencyDomain[J].arXivpreprintarXiv:1708.00133,2017.
[2]ChengY,WangD,ZhouP,etal.ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks[J].arXivpreprintarXiv:1710.09282,2017.
[3]DingX,GongB,GuoY,etal.ConvolutionalNeuralNetworksonMobileDevicesforFaceRecognitionwithIncompleteData[J].arXivpreprintarXiv:1710.02999,2017.
[4]ZhaoC,LiB,ZhouF,etal.Memory-EfficientImplementationofConvolutionalNeuralNetworksUsingWinogradConvolution[J].arXivpreprintarXiv:1708.08296,2017.
[5]ShiY,GongM,LiuK,etal.AnEnergyEfficientDeepNeuralNetworkforObjectRecognitiononMobileDevices[C]//Proceedingsofthe2017IEEEInternationalConferenceonComputerVisionWorkshops(ICCVW).IEEE,2017:2479-2488.