Недавно тоже сталкивался с такой шляпой. Исправить проблему получилось следующими способами:
  - В конфигурации системы поставил "Обычный запуск"
  - В Панели управления NVIDIA 3D настройки вернул на стандартные.
  - Как написал Panya, выделить Java половину оперативной памяти.

Эти способы мне помогли и может поможет и вам. Если не помогло, то ожидайте следующих ответов.