ESXi 6.5ではUSBドライバがvmkusbという単一のドライバに置き換わった事が原因らしい。
↓ここを参照
https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2149354
vmkusbドライバを無効にして再起動した結果、今のところ安定して動作している。
vmkusbドライバを無効にするコマンド

esxcli system module set -m=vmkusb -e=FALSE