IJCV 2024 | Splatting+Optical Flow=SOTA!国防科大最新提出多帧光流框架SplatFlow

admin2024-05-15  0

1. 导读

多帧设定有望潜在地缓解光流估计(OEF)中挑战性的遮挡问题。遗憾的是,多帧OFE(MOFE)尚未得到充分的研究。本工作提出全新的MOFE方法SplatFlow,其引入了可导Splatting变换对前一帧的运动特征进行对齐,并设计了一种Final-to-All的嵌入方法,将对齐后的运动特征输入到当前帧的估计中,从而对现有的两帧骨干网络进行重构。大量的实验表明,SplatFlow在KITTI2015和Sintel基准测试中均实现SOTA,大大优于所有已发布的方法。本工作现已发表在计算机视觉顶级期刊《International Journal of Computer Vision》上。

2. 论文信息

标题:SplatFlow: Learning Multi-frame Optical Flow via Splatting
作者:Bo Wang,Yifan Zhang,Jian Li,Yang Yu,Zhenping Sun,Li Liu,Dewen Hu
机构:国防科技大学
原文链接:https://arxiv.org/pdf/2306.08887
代码链接:https://github.com/wwsource/SplatFlow

3. 方法

我们方法是为例如RAFT和GMA等单分辨率迭代骨干网络设计的多帧方法。我们以RAFT为例介绍我们的方法,如图1所示。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!