ヘルプに書いている通りですが、UVマッピングや頂点カラーを出力すると頂点が増えることがあります。
これは同じ頂点を共有している面間でUVや頂点カラーが異なる場合に、Xファイルの仕様上の制限から異なる頂点として分離しないと再現できないためですが、
これらを出力しないようにすれば頂点数は同じになるかと思います。