Ich würde empfehlen, eine Art Feature-Erkennung durchzuführen und diese dann zu verwenden, um eine Homographiematrix zu finden. Es könnte übertrieben sein, aber zumindest wirst du nicht nur die Rotation eines Bildes im Verhältnis zu einem anderen finden können, sondern auch etwaige Scherungen oder Translationen.
Überprüfe das Feature Detection-Modul, das Teil der Computer Vision-Toolbox ist, um dir bei der Erkennung von Schlüsselpunkten zu helfen: http://www.mathworks.com/help/vision/feature-detection-extraction-and-matching.html
Sobald du Paare entsprechender Punkte gefunden hast, schau dir den Wiederaufbau der für das Umformen eines Bildes in ein anderes erforderlichen Homographiematrix an. Diese Folien sind großartig: http://www.comp.nus.edu.sg/~cs4243/lecture/camera.pdf. Schau dir die Folien 29-35 an.
Sobald du die Homographiematrix gefunden hast, kannst du ganz einfach den Rotationswinkel bestimmen, indem du die Koeffizienten untersuchst und eine inverse trigonometrische Operation anwendest.
ÄNDERUNG (7. April 2014): Ich konnte das tatsächliche MATLAB-Beispiel nicht finden, aber der Link von Dima (vielen Dank!) zeigt dir ein ausgearbeitetes MATLAB-Beispiel von MathWorks, das es macht (http://www.mathworks.com/help/vision/examples/find-image-rotation-and-scale-using-automated-feature-matching.html).