本发明公开了一种基于位置预测与颜色相似性的船只跟踪方法，包括如下步骤：步骤一，通过无人机航拍需要跟踪的船只视频，提取视频中需要跟踪的船只在第t帧中的P(x，y)和(w，h)；步骤三，基于步骤一中提取的P(x，y)和(w，h)预测矩形区域R；步骤四，在R中搜索需要跟踪的船只；步骤五，判断需要跟踪的船只是否已离开图像；步骤六，继续判断检测船只是否连续丢失若干帧；步骤七，继续判断该船只是否为非船只物体。本发明的基于位置预测与颜色相似性的船只跟踪方法，通过步骤一至步骤七的设置，便可以有效的通过无人机航拍进行预测的方式来跟踪海上船只，相比于现有技术中的采用GPS定位跟踪的方式，避免了位置滞后的问题。