Chạy AI cục bộ với Ollama: từ cài đặt đến kiểm tra đầu ra

Khi nào nên thử AI chạy trên máy?

Nếu muốn thử tóm tắt ghi chú, phân loại văn bản hoặc học cách một mô hình ngôn ngữ hoạt động, bạn có thể bắt đầu bằng một model cục bộ. Phạm vi bài này là một bài thực hành cá nhân trên máy tính; không phải hướng dẫn dựng dịch vụ cho nhiều người dùng.

Local và cloud là hai cách xử lý khác nhau. Ứng dụng Ollama hỗ trợ cả hai, vì vậy việc cài ứng dụng chưa đủ để kết luận mọi yêu cầu đều được xử lý tại máy. Hãy kiểm tra model và đích kết nối bạn chọn. Với lần đầu, dùng ghi chú giả lập thay cho tài liệu khách hàng.

1. Chuẩn bị một bài kiểm tra nhỏ

Tạo tệp ghi chú có ba dữ kiện: một việc đã hoàn thành, một việc đang chờ và một thời hạn chưa xác định. Mục tiêu là kiểm tra model có phân biệt được ba trạng thái hay không. Đừng bắt đầu bằng cả thư mục tài liệu: khi câu trả lời sai, bạn sẽ khó tìm ra nguyên nhân.

Ghi lại hệ điều hành, dung lượng trống và bộ nhớ hiện có. Bộ nhớ cần dùng phụ thuộc model, cách lượng tử hóa và độ dài ngữ cảnh. Bài viết không đặt một cấu hình RAM chung cho mọi model; kiểm tra mô tả model trước khi tải.

2. Cài Ollama và chọn model local

Tải bản dành cho hệ điều hành của bạn từ trang chính thức của Ollama. Mở ứng dụng và chọn model chạy cục bộ. Nếu dùng terminal, có thể xem các lệnh đang được hỗ trợ bằng:

ollama --help
ollama list

Sau khi chọn model, sao chép đúng tên và tag từ thư viện của nhà cung cấp. Cú pháp chạy là ollama run TEN_MODEL; thay TEN_MODEL bằng tên thực, không nhập nguyên phần giữ chỗ này. Lần đầu có thể cần tải model. Hãy chờ tải xong trước khi đánh giá tốc độ trả lời.

3. Dùng cùng một đề bài để kiểm tra

Thử đề bài sau với ghi chú bạn đã tạo:

Từ ghi chú bên dưới, tạo ba mục:
1. Đã hoàn thành
2. Đang chờ
3. Thông tin cần hỏi lại
Chỉ dùng dữ kiện trong ghi chú. Không tự bổ sung ngày hoặc tên người.
Ghi chú: [dán nội dung mẫu ở đây]

Đối chiếu từng ý với đầu vào. Một câu trả lời trôi chảy vẫn có thể gán sai trách nhiệm hoặc tự đặt thời hạn. Đánh dấu lỗi cụ thể, sửa một yêu cầu trong prompt rồi chạy lại cùng dữ liệu. Giữ cả hai kết quả để xem điều gì thực sự thay đổi.

4. Quan sát tài nguyên trước khi tăng khối lượng

Lệnh ollama ps cho biết model đang được nạp và cách sử dụng CPU/GPU. Kết hợp với công cụ theo dõi tài nguyên của hệ điều hành để quan sát khi chạy. Không dùng cảm giác “nhanh hơn” làm kết luận nếu lần trước đang tải model còn lần sau đã nạp sẵn.

Nếu máy phản hồi chậm, thử model nhỏ hơn hoặc giảm lượng văn bản của bài kiểm tra. Tăng độ dài ngữ cảnh có thể làm thay đổi nhu cầu bộ nhớ. Giữ cấu hình ổn định khi so sánh hai lần chạy.

Các lỗi thường gặp

• Không tìm thấy lệnh: mở lại terminal sau khi cài và kiểm tra hướng dẫn cho hệ điều hành.

• Model không tải được: kiểm tra tên/tag, mạng và dung lượng đĩa; đọc lỗi trước khi cài lại.

• Model trả lời thiếu dữ kiện: thử một đầu vào ngắn, rõ ràng rồi tăng dần; đừng mặc định lỗi luôn đến từ phần cứng.

• Muốn truy cập từ máy khác: đây là bước triển khai riêng, cần xác thực và kiểm soát truy cập. Giữ thử nghiệm cá nhân trong máy trước.

Nhật ký tải về và bài đọc tiếp

Dùng phiếu kiểm tra AI local để ghi model/tag, đầu vào, cấu hình và lỗi quan sát được. Xem thêm mẫu prompt có tiêu chí kiểm tra.

Đây là hướng dẫn biên tập dựa trên tài liệu, chưa phải benchmark phần cứng của Thanhflox.

Nguồn và ảnh

• Ollama Quickstart: cài đặt và phân biệt local/cloud.

• Ollama CLI: lệnh quản lý model.

• Ollama FAQ: kiểm tra model đang nạp và cấu hình.

• Ảnh minh họa chụp thật: luis gomes / Pexels, dùng theo Pexels License. Ảnh không phải ảnh chụp giao diện Ollama.