Posledná aktualizácia Docker Desktop 4.40, ktorá bola vydaná na prelome marca a apríla tohto roku prináša novú integráciu pre prevádzku AI modelov bez nejakej mimoriadnej komplexnosti. Funguje to veľmi podobne ako pri ollama. Vychádza z llama.cpp.
S modelmi sa pracuje veľmi podobne ako s images
docker model run ai/mistral "Ahoj"
Ak chcete zostať v konverzácii tak len
docker model run ai/mistral
Modely sa nachádzajú na Docker Hub. Aktuálne ich je k dispozícii 11, najviac stiahnutí má Mistral s viac ako 3 tisíckami. Prekonáva ho DeepSeek s viac ako 10 tisíc.