PrivateGPT har jeg ikke prøvd, men kjører både Alpaca (
https://crfm.stanford.edu/2023/03/13/alpaca.html ) og Stable Diffusion XL fint på mitt RTX 4060 Ti 16 GB kort.
Mange som ikke liker det kortet dog, da det ikke har så mye ytelse i spill i forhold til prisen. Jeg kjøpte det kun for maskinlæring, og da er 16 GB minne kjekt.