Xファイル出力のパネルからスムージングのチェックを外すことで解決できたと思います。
もしこの方法でうまくいかない、スムージングを必要とするときはマテリアルが違う面を他の面から分離することで確実に解決できるはずです。

Xファイルはその仕様として、頂点ごとに１つのUV座標・頂点カラーが割り当てられます。
このため、同じ頂点を共有している複数の面でUV座標が異なる場合、
頂点の数を増やすことによって面ごとに別々の頂点を持つように出力されますが、
頂点カラーについては頂点数を増やさずにどれかの面が持つ頂点カラーを代表して単一化されます。
このため、出力した後に頂点カラーについて見た目上の違いが生じます。

スムージングの出力設定やマテリアルの割り当てでは変化しないと思います。
UVのチェックをONにすると、たまたま頂点カラーとUV座標が両方異なっている場合は複数頂点に分離されることで頂点カラーも保たれますが、
UV座標が同じだと頂点カラーは失われます。

頂点カラーについてもUVと同じように複数頂点へ分離するようにしてもいいのですが、
Xファイル自体がMicrosoftから既に過去の遺物扱いされているフォーマットなので、
もし、たとえばlwoなど他のフォーマットで代替が可能ならそちらをお勧めしたいところです。

mqouser様、O.Mizno様
ご回答ありがとうございます。

Xfileの仕様のようなので諦めて別の方法で対処したいと思います。
お騒がせ致しました。