Así a bote pronto se me ocurre con CSS. La etiqueta track admite atributos globales, sería cuestión de probar.
<track style=”font-size: lo que quieras” label=”English” kind=”subtitles” srclang=”en” src=”subtitles-en.vtt” />
O, más elegante, con el atributo class y definir regla en el archivo de estilos CSS.