Genaugenommen nutzt die Polarisationsbrille zuerst noch einen anderen Effekt aus:
Wie Du schon schriebst: Das Umgebungslicht ist erstmal "kreuz und quer" polarisiert. Eine Betrachtung durch einen Polarisationsfilter ändert visuell aber erstmal nichts daran, außer das das Bild etwas dunkler wird, weil ein Teil fehlt.
Wenn aber kreuz und quer polarisiertes Licht an einer Oberfläche reflektiert wird, dann ist es nach der Reflexion zum Teil linear in einer bestimmten Richtung polarisiert (wieviel hängt von verschiedenen Bedingungen ab, z.B. dem Einfallswinkel). Und die Polarisationsbrille filtert dann diesen linear polarisierten Teil heraus. Deshalb sieht man weniger reflektiertes Umgebungslicht. An Oberflächen, die man als nicht oder wenig spiegelnd einstufen würde, ist dieser Effekt aber sehr gering.
Hier Beispiele für gut spiegelnde Oberflächen :
Links ohne Polarisationsfilter. Das an der Wasseroberfläche reflektierte Licht verhindert, dass man auf den Boden sehen kann.
Rechts mit Polarisationsfilter. Das Licht ist (erst)
nach Reflexion an der Wasseroberfläche zu einem großen Teil linear polarisiert. Der Polarisationsfilter filtert diesen Teil heraus und man sieht kaum noch Licht welches von der Wasseroberfläche reflektiert wird.
Oder hier ein Beispiel, warum in der Verkehrsüberwachung Polarisationsfilter eingesetzt werden
Aber was ich ja eigentlich nur schreiben wollte: Bevor die Polarisationsbrille das tut, was sie soll, muss das Licht schonmal irgendwo ziemlich reflektiert worden sein 
