Thách thức kỹ thuật
Tối ưu tốc độ phản hồi của mô hình nhỏ trên thiết bị, đồng thời giảm lỗi ở các câu hỏi về lịch và phép tính.
Cách tôi tiếp cận
Xử lý câu hỏi về lịch và phép tính bằng Dart trước khi chuyển kết quả cho LLM; giới hạn độ dài prompt và cache trạng thái system prompt. Trong phép đo đã ghi nhận, thời gian đến token đầu giảm từ 8,3 giây xuống 0,93 giây; số ca đạt trong bộ đánh giá tăng từ 13/33 lên 25/33.
Kết quả tác động
Hoàn thành 3 giai đoạn phát triển, kiểm thử trên thiết bị Samsung thực tế; hỗ trợ import mô hình từ tệp ngay trong ứng dụng.
