＜原因＞
コンパイル実行をするための PC のメモリ容量が足りない場合に発生します。
 
＜回避方法＞
・ウィンドウを複数開いている場合は、ウィンドウを閉じてください。
・バックグランドで起動しているソフトがある場合は、それを停止してください。
・ターゲットデバイスのメモリ容量の推奨値を満たしていない場合は、メモリを追加してください。
   デバイスごとのメモリ容量の推奨値は、Quartus II の Help メニューから Release Notes を実行するこ
   とで確認できます(Ver8.xまで）。
 
PC の物理的メモリは満たしていてもまだ発生する場合、OS の制限が考えられます。
その場合は アルテラ社の下記 URL リンクに関連情報と設定変更方法の記載がございますのでご参照ください。
 
  https://www.altera.co.jp/support/support-resources/software/quartus2/memory.html?GSA_pos=3&WT.oss_r=1&WT.oss=out%2520of%2520memory