それぞれの仕様解説ありがとうございます。
広大なメモリ領域が扱える64bit版を使うというのはごもっともなので勿論そちらに移行していく予定ではあります。

その上で、メモリが足りなくなった場合にエラーが出ていると仮定して
足りなくなった場合に、「Direct3D表示でエラーが発生しました」が何度も出てくるとそのエラーダイアログのボタンを連打してなんとか閉じて別の描画モードに切りかえる別名で保存するというのが現状なのですが、ソフトの基本動作としてただエラーを吐くだけでなく別の対処を講じて欲しいです。

上記エラーが発生したら、「Direct3D表示でエラーが発生しました、別の描画方法に切り替えますか？」
というような表示を出して、「DirectX9、OpenGL」に切り替えをエラーダイアログで選択できるようにしてほしいです。
これで描画モードを切り替えることで一旦エラーが回避できます。
また、「データを別名で保存して終了する」というオプションも欲しいです。
これらの選択肢があるだけで、「Direct3D表示でエラーが発生しました」のエラーを履き続けるよりマシかと思います。


テクスチャの拡大縮小アルゴリズムですが、更新の反映に時間がかかっても良いので綺麗に描画されるされるモードとして、BicubicやLanczos3を選べるようにしてほしいです。
リソース不足問題を防ぐ回避策とはいえその描画状態の表示が汚くなってしまうのでは、あまりその表示モードを使う意味がなくなります。
例えば、倍解像度で描いて最終的にはBicubicで縮小するのでその結果をモデリングツール上でリアルタイムに確認したい等行えます。
その点、あくまでもリソース不足の問題を解決するというプログラマ的視点からしか見ておられないと思うのですが、モデリングツールを使うのはデザイナーです。
デザイナー視点からみて、最大解像度を抑えて表示した時に綺麗に表示されてほしいという要望になります。
ですので、選択できるようになっていれば速度を優先する人、表示結果を優先する人のそれぞれに対応出来るかと思います。

それぞれ対応ご検討よろしくお願いします。