Hola Aldo, estuve investigando esto para ti y lamento informarte que WHMCS solo permite 2 decimales como puedes ver en la captura adjunta.

Ciertamente podrías modificar esta funcionalidad nativa de WHMCS, sin embargo aquello implicaría un alto nivel de personalización en el témplate y en las bases de datos, y muy seguramente parte del código que necesitas modificar debe estar encriptado en WHMCS.

Te dejo la documentación oficial aca: https://docs.whmcs.com/Currencies