Zum DX-Fehler kann ich dir nichts sagen. Du kannst für deine Karte rückwärtig bis Catalyst 11.1 gehen, wenn ich das richtig gesehen habe - das wäre einen Versuch wert, Treiber v. 11.1 bis 11.7 auszuprobieren.
Das macht mit dem ATI Karten einen Haufen Testarbeit. Ich habe derzeit auch die Probleme mit der hd5770.
Dann muss man mit dem jeweiligen Treibern die ddfix-Versionen durchprobieren, viel anders geht es nicht.
Optionale Option; ein Zweitrechner mit etwas älterer Hardware.
Du solltest Thief mit administrativen Rechten starten.