Skyline, попробуй разогнать память видеокарты через утилиту MSI Afterburner или RivaTurner. Советую утилиту от MSI
Кликни на пункте «Панель управления» меню «Пуск». Затем нажми на ссылку «Настройка системы» - «Система». В появившемся разделе укажи «Дополнительно» - «Переменные среды». Кликни по кнопке «Создать».
В разделе «Имя» укажи _JAVA_OPTIONS. Затем задай нужные для изменения параметры – впиши конфигурацию -Xincgc -Xmx3G. Стоит отметить, что в данном случае 3G означает выделение памяти в размере 3 Гигабайт.

--- Добавлено в 2018-02-24 16:00:19

Так же проверь обновления Java, возможно у тебя стоит слишком старая версия. Обнови дрова видеокарты если это возможно.