Тут все зависит от того, где ЦАП лучше - в плеере или в ресивере. если в плеере, то подключай по аналогу, а если в ресивере, то по цифре.
Проверить очень просто: послушай с аналоговыми шнурками и с цифровым. Как лучше, так и подсоединяй. Если одинаково, то можно смело исходить из прочих удобств, цена и т.д.
При выборе коаксиал или оптика - советую не заморачиваться и брать коаксиал - дешево и сердито, а разницы нет.