"Система штрафов" - понятие неприятное, прежде всего - для авторов. Конечно можно придумать систему штрафов, причем не только за длительность: штрафовать за изображение, за звук, за использование определенных музыкальных композиций, за количество монтажных сцен... Регламентную комиссию создать, которая штрафные очки начислять будет ...
Вот только станут ли от этого фильмы лучше?

Думаю, никто не станет спорить с тем, что длинный фильм сделать интересным и динамичным гораздо труднее, чем короткий? Так может наоборот - из двух _равных_ фильмов отдавать предпочтение тому, что длиннее? (под "длинным" подразумевается фильм ~15 минут, "короткий" - 5)
А чтобы зритель не страдал, так на то и судьи - допускать к показу только интересные фильмы.