Was Sie verlangen, ist numerisch unmöglich. Rundungsfehler machen einen solchen Test völlig irrelevant.
~~
Vielleicht möchten Sie aber auch prüfen, ob zwei Dreiecke innerhalb einer bestimmten Toleranz auf der gleichen Ebene liegen. Dies ist sehr schwierig zu bewerkstelligen, und auch hier werden Rundungsfehler wahrscheinlich jede mögliche Methode vereiteln. Wenn die Dreiecke dünn sind, besteht eine große Unsicherheit bezüglich der Ebene, auf der sie liegen.
Ich könnte Sie auf Literatur verweisen, wenn Sie wirklich wollen (am besten wäre es, wenn Sie sich die CGAL Bibliothek und sehen Sie, ob sie etwas für Ihr Problem Relevantes implementiert haben). Alles, was damit zu tun hat, beinhaltet wahrscheinlich Fließkommazahlen beliebiger Genauigkeit, eine geschickte Umordnung von Operationen und wird in jedem Fall zu ungenauen Ergebnissen führen.
~~
Ich empfehle Ihnen daher dringend, einen anderen Ansatz für Ihr eigentliches Problem zu finden.
Rundungsfehler sind ein (großes) Problem, wenn man versucht, die Gleichung der Ebene zu berechnen, die durch drei Punkte verläuft, und dann die drei anderen Punkte prüft. Es gibt eine andere Lösung.
Sie können die Berechnung der Trägheitsmatrix deiner sechs Punkte, diagonalisiere sie und prüfe, ob ihr kleinster Eigenwert innerhalb eines winzigen Wertes der beiden anderen liegt. Dies bedeutet, dass Ihre sechs Punkte tatsächlich auf derselben Ebene liegen, innerhalb einer Toleranz.