entonces si se pueden utilizar subtitulos .ass?  y tengo un problema cuando trato de poner subtitulos aunque sean .srt  no los pega, tambien cuando trato nde vajar el peso de un video con subs incrustado quita los subtitulos, puedas ayudarme ?

Bueno es bastante simple, simplemente en la sección de subtitles dale en add marca la opción burn in como aparece a continuación:
Y listo se pegaran los subtitulos que vengan junto al archivo, sean .srt, .pgs o .ass. Para pegar srt que no vengan en el archivo dale en Import .srt ubicas el archivo y listo, esto sólo aplica con .srt's.

Recalco lo escrito en el tuto, para mantener los estilos de los .ass deben darle en burn in, la opción default los convertirá en .srt y se perderán los estilos aparte de que con esa opción los subs serán flotantes u opcionales y podrán activarlos o desactivarlos con su reproductor.

Me parece interesante, pero al menos yo nunca escojo como profile en nivel 5, por que el bluray no me lo reonoceria ya que su standar es hasta el 4.1, aun asi es muy facil bajarle el nivel con el TSMuxer. En cuanto a los subtitulos cuando he probado con el Handbrake 9 siempre me da problema con los Ass, de pegarlos los pega, pero parece que el borde no queda muy definido (tiene como una sombra blanca), mas notorio cuando uso fuentes de colores, no se a que se debera. aun asi ultimamente prefiero en mkv ya que si luego sale la version en español (Como zero no tsukaima y No game no life) los agrego a la raw que tenga y con los subs en srt van genial en el Bluray