Я рекомендую забыть про ENBoost, и использовать библиотеки D3D9.dll и dxgi.dll из состава DXVK -- это транслятор DirectX в Vulkan, созданный для того, чтоб играть на линуксе.
Не предназначался для использования в венде, но своими алгоритмами уделывает любые енбусты.
UPD: https://github.com/doitsujin/dxvk/releases -- берём отсюда архив с последним релизом, достаём 32-битные d3d9.dll и dxgi.dll, кладём их в папку Вегаса. ВАЖНО: Не забывайте, что для использования Vulkan-API нужна современная видеокарта, и если она поддерживает DX12, то поддерживает и Вулкан.