本地跑模型

技术
技术实践
LLM
Published

January 11, 2025

自己还有一台笔记本，配置还可以，闲来无事，跑一些简单的小模型

这是配置

=== Hardware Configuration ===
CPU: Intel(R) Core(TM) Ultra 5 125H
Cores: 18 logical cores
Memory: 30Gi
GPU: NVIDIA GeForce RTX 4050 Laptop GPU
VRAM: 6141 MiB
Disk: nvme0n1 953.9G

相关工具

ollama+open webui openwebui使用 docker 进行安装配置

Qwen3-VL-2B-Instruct

DeepSeek-OCR 2