結論から言えば32bitアプリケーションで扱えるメモリ量の上限を超えてしまっているので、
より大きなメモリ量を扱える64bit版を使ってくださいということになります。
ただどうしても32bit版を使いたいという場合、極力メモリの使用を抑えるために例えば以下の手立てがあります。

○アンドゥバッファを小さくする
環境設定のアンドゥの最大使用メモリは少な目（256MB以下程度）にしてください。

○プラグインを入れない
常駐して動作するタイプ(Station/Command)のプラグインはたとえ使わなくても入れているだけでメモリを消費します。
不必要なプラグインはメニューの[プラグインについて]で無効化するかプラグインのファイル自体を削除してください。

○Direct3D 9を使う
Direct3D 11に対応しているGPUをお使いの場合、レンダラーにDirect3D 11を使うほうが表示が高速ですが、代わりにメモリを多く消費します。
メモリ使用量の少ないDirect3D 9を選んでください。

○テクスチャの最大表示解像度を小さくする
画像のサイズが大きいテクスチャを扱う場合、表示するにもメモリを使用するので、
表示が荒くなりますが小さめにするとメモリ消費量を抑えられます。

上から順に効果が大きいと思います。
ただメモリの消費量を抑えたところで上限を超えてしまうとエラーの発生は避けられないので、
上限自体が大きい64bit版の利用をお奨めします。