LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

📌 LongE2V：利用影片 Diffusion 模型實現長時程事件相機影像重建與預測

TL;DR：透過預訓練的影片 Diffusion 先驗知識，將稀疏事件流轉化為高品質且具時間穩定性的影片。

事件相機（Event Camera）能捕捉極高時間解析度的動態變化，但其產出的稀疏事件流（Event Streams）缺乏傳統影像的視覺資訊，如何將這些碎片化的資料還原成高品質影片，一直是視覺重建的難題。

🤔 稀疏事件流的重建挑戰

傳統方法在處理長時程（Long-Horizon）的事件流時，常面臨時間穩定性不足以及幀間插值（Frame Interpolation）不自然的問題，導致還原出的影片容易出現閃爍或失真。

🧩 匯入影片 Diffusion 先驗知識

LongE2V 的核心設計在於利用預訓練的影片 Diffusion 模型（Video Diffusion Models）作為先驗知識（Priors）。這種方法不再單純依賴事件流的數學重建，而是將 Diffusion 模型對影片結構與動態的理解，用來引導稀疏事件流的恢復過程。

透過這種方式，LongE2V 能在以下三個維度提升效能：

• 影片重建（Reconstruction）：將稀疏事件流恢復成高品質影像。
• 影片預測（Prediction）：基於事件流預測未來的畫面動態。
• 幀間插值（Frame Interpolation）：在事件流的指引下生成平滑的過渡幀。

🎯 實務啟示

對於從事電腦視覺或自動駕駛等需要高時間解析度感測器的工程師來說，這項研究顯示了「生成式先驗」與「特殊感測器資料」結合的潛力。未來在處理非傳統影像輸入時，不必從零訓練模型，而可以嘗試將預訓練的影片生成模型作為基礎，透過適當的引導機制來提升重建品質。

🔗 來源

• 標題：LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
• 連結：https://huggingface.co/papers/2607.08770

#EventCamera #VideoDiffusion #VideoReconstruction #ComputerVision #DiffusionModels #FrameInterpolation #VideoPrediction #LongHorizon #AI #GenerativeAI