Robust video trackers against in-capture and post-capture distortions using video quality assessment based on natural scene statistics and deep learning
Loading...
Date
2021
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Pontificia Universidad Javeriana Cali
Abstract
El trabajo investigativo realizado hasta el momento en Seguimiento de Objetos en Video (VOT) ha estudiado diversos factores de la imagen que afectan el rendimiento de VOT. Por ejemplo, factores como oclusión, aglomeración, confusión, la forma del objeto, velocidad variable, acercamiento, entre otros, influencian la calidad del video y afectan la precisión del seguidor. Sin embargo, hasta el momento, no se ha definido una distinción clara entre los desafíos originados por la escena, tales como oclusión y aglomeración de objetos, con los desafíos impuestos directamente por la calidad del video. Estas distorsiones que afectan la calidad del video pueden generarse por etapas o fases presentes en la captura, compresión, procesamiento y transmisión del video. A pesar de la abundancia de métodos VOT en la literatura, aún se presenta una ausencia de estudios detallados que analicen el rendimiento de los VOT en videos que contengan distorsiones en captura y post-captura.
El seguimiento de objetos en video es una tarea desafiante debido a la necesidad de trabajar con videos que tienen múltiples imperfecciones y distorsiones. Entre estas se encuentran rectángulos de inicialización del objeto mal ubicados, ruido en el sensor, latencia por transmisión de video, cambios de iluminación, y pérdida de datos por algoritmos de compresión. Un importante y actual campo de investigación es la interacción entre la calidad de video y el desempeño en la tarea. Esto al tener en cuenta que los videos usados en video-vigilancia están plagados con numerosas fuentes de distorsión, incluyendo borrosidad, ruido y artefactos que surgen de procesos como compresión, escalado, conversión de formato, entre otros. A menudo en un mismo video se encuentran múltiples distorsiones, las cuales interactúan, lo cual complica significativamente la tarea del seguidor de objetos. Aunque en el estado del arte se proponen numerosos algoritmos seguidores de objeto cada año, hacerlos robustos contra la amplia variedad de distorsiones no lineales, a menudo contenidas de forma simultánea, y además, poco entendidas, es un problema altamente complejo. A pesar de la buena precisión de los algoritmos seguidores recientes, estos no han demostrado ser lo suficientemente robustos a distorsiones de video en captura y postcaptura. Algo que no ha permitido el avance en la mejora de dicha robustez, es la ausencia de bases de datos de videos que presenten distorsiones en captura. Similarmente, no se reporta una evaluación sistemática de los seguidores del estado del arte en videos que adquieran distorsiones durante la captura y postcaptura.
Description
Keywords
Evaluación de calidad de video, Seguimiento de objetos en video, Red neuronal convolucional, Predicción de rendimiento de seguidor de objetos, Distorsiones en el momento de la captura, Seguimiento de objetos en video robusto, Base de datos de videos auténticamente distorsionados