为了提升复杂场景下摄像头跟踪行人的稳定性，满足对实际行人跟踪的需求，通过YOLOv5检测器检测视频中的行人，结合改进的DeepSort算法，对行人跟踪的方法进行研究。优化行人重识别网络，通过迭代深度融合(Iterative　Deep　Aggregation,　IDA)的方式融合灰度和RGB特征，降低了模型的误差率；改进级联匹配中余弦矩阵的计算方式，分别计算灰度特征和融合特征的余弦距离矩阵，加权得到新的余弦矩阵，减少了DeepSort算法在跟踪时目标丢失的现象。实验结果表明，改进的重识别网络相对于传统DeepSort算法中运用的八维残差网络的误差率降低6.391%。相对于传统的DeepSort算法，结合了改进重识别网络和改进余弦矩阵的DeepSort算法的多目标跟踪精度(Multiple　Object　Tracking　Accuracy,　MOTA)和平均数比率IDF1指标分别提升了0.9%和8.1%。