Les paso un link con una nota que explica todo desde cero, desde cómo se interpreta un color, pasando por todo lo mencionado en el asunto, hasta llegar a los formatos de compresión de video.
Vale la pena tomarse 10 minutos y leerlo como para dejar de preguntarse un montón de cosas y también dejar de leer respuestas en los foros de gente que no tiene idea.
https://www.videoedicion.org/documentacion/article/introduccion-a-los-espacios-de-color-y-su-relacion-con-la-compresion-de-video/