Bazik_,
1. видеокарту = название, если это nvidia(новые драйвера от ~409) отключи все новомодные "задержки" синхронизации, кадра и все к нему относящихся, это может исправить проблему с моментальным выбросом из java, в свое время помогло. У AMD подобное может встречаться.
2. Если есть права на ручное выделение видеопамяти(Linux/Win 10), отключи функцию, данная виртуальная машина её не любит.
3. С некоторыми версиями программам MSI afterburner(возможно и другие средства мониторинга или захвата кадра), java может конфликтовать с ними она присутствует и включена, выключи и посмотри как будет работать без неё.

В каком плане Java не отвечает, появляется окно "о экстренном прекращении?" и ему подобного?