Люди!
Если хотите качества, не жмите на лету.
Сначала сделайте захват с кодеком без потери качества (Lossless кодеки), а только потом уже готовый материал пережимайте в нужное вам.
Я использую захват кодеком huffyuv(ffdshow) - (меньшее сжатие, но выше скорость) в режиме YV12. А потом уже жму в нужный формат, типа DivX, WMV, xVid . . .