Blog · Tin AI Agent · Agent lập trình VIEN

Đổi sang GPT-6.2 mà giữ prompt cũ, agent dễ đứng chờ bạn gõ “OK”

OpenAI phải viết riêng 3 đoạn prompt để GPT-6.2 bớt dừng hỏi lại. Chạy agent ban đêm thì đừng chỉ đổi tên model, hãy thử lại prompt.

Đổi sang GPT-6.2 mà giữ prompt cũ, agent dễ đứng chờ bạn gõ “OK”
Ảnh: TechCrunch / Wikimedia Commons (CC BY 2.0)
Trong bài này
  1. Vì sao agent GPT-6.2 hay dừng lại hỏi?
  2. Dán 3 đoạn nào để nó chạy tiếp?
  3. Đổi model xong còn phải sửa gì trong cấu hình?
  4. Mình nghĩ bạn nên làm gì trước khi thả agent chạy một mình?

Thử hình dung bạn chạy agent lúc 11 giờ đêm rồi đi ngủ. Sáng ra nó vẫn nằm ở bước 2 với một dòng: "Mình làm tiếp bước 3 nhé, bạn xác nhận?". Cả đêm nó chờ người gõ "OK làm tiếp đi".

Không phải mình bịa cho vui. Theo OpenAI, khi ý định người dùng chưa rõ, GPT-6.2 đôi khi đề xuất bước tiếp theo rồi chờ xác nhận, và hãng phải viết sẵn prompt riêng để chặn thói quen đó. Nên mình đứng phía này: nâng lên GPT-6.2 không phải đổi một dòng cấu hình, bạn phải thử lại prompt.

Còn một con số dễ hiểu nhầm: 272.000 token. Đó không phải trần bộ nhớ của model (trần thật là 1.050.000 token) mà là ngưỡng tính tiền. Token là mẩu chữ AI đọc và tính phí, giống cước điện thoại tính theo giây. Input vượt 272.000 token thì cả request bị tính input gấp đôi, output gấp rưỡi: với GPT-6.2 Astra, input từ 8 lên 16 USD, output từ 40 lên 60 USD mỗi triệu token.

Bốn con số về mốc 272.000 token của GPT-6.2 Astra: ngưỡng giá, trần bộ nhớ thật, input gấp đôi, output gấp rưỡi
Mốc 272K chỉ đổi giá, không giới hạn bộ nhớ. Nguồn: trang model GPT-6.2 Astra của OpenAI

Vì sao agent GPT-6.2 hay dừng lại hỏi?

Mặc định GPT-6.2 viết ngắn và thẳng hơn đời trước, nên dòng "be concise" trong prompt cũ cần xem lại. Mình đoán mỗi vòng chờ rồi chạy lại làm cuộc trò chuyện dài thêm, nên phiên chạy đêm dễ chạm ngưỡng 272.000 hơn. Các mẫu dưới đây không giới hạn token, bạn vẫn phải tự theo dõi.

Dán 3 đoạn nào để nó chạy tiếp?

Ba đoạn này chép nguyên văn từ tài liệu Using GPT-6.2 của OpenAI nên mình giữ tiếng Anh. Dán vào tin nhắn developer đầu input.

  1. Đừng dừng khi còn việc làm được. Chỉ hỏi lại khi đổi phạm vi, bị chặn thật, cần người quyết hoặc sắp làm việc không hoàn tác.
Avoid stopping to end the turn while the task is incomplete or if there is an authorized next step you can take, and instead take the next steps within task scope to progress the user's request.
Only stop to clarify with the user if there is significant change in task scope, you are concretely blocked, have a decision that the user needs to resolve, or before irreversible or destructive actions.
  1. Câu trả lời cuối phải tự đứng được. Model đôi khi mang ký hiệu nháp vào câu trả lời cuối; mẫu này bắt nó viết như thể bạn chưa xem gì.
Treat your final answer as the user's first look at your work, and not as a continuation of intermediate commentary. The final answer must always be fully self-contained: users should never need to read earlier commentary updates for context, since they are collapsed when the final answer is shown to the user.
  1. Cho nó quyền giả định. Thiếu chi tiết phụ thì chọn cách đảo ngược được, ghi rõ giả định rồi làm tiếp. Mẫu code của OpenAI còn dặn chỉ viết test mới khi được yêu cầu, repo bắt buộc hoặc để bắt một lỗi hồi quy cụ thể.
Make reasonable, reversible assumptions to carry work forward and state them if it progresses the task within scope. Do not second guess yourself, stop after describing what you could do, offer to do the work, or provide a partial answer unless there is no way you can proceed.
Đọc thêmApple Music ngốn chục GB dù không tải nhạc: Cách dọn sạch

Đổi model xong còn phải sửa gì trong cấu hình?

Prompt caching là model nhớ sẵn phần đầu giống nhau giữa các lượt để lần sau tính rẻ hơn, như app lưu sẵn trang để lần sau mở khỏi tải lại. Astra tính đọc lại từ cache 0,40 USD thay vì 8 USD mỗi triệu token (0,80 USD ở bậc trên 272.000), dù đủ điều kiện chưa chắc đã trúng.

Danh sách nên rà khi chuyển, theo tài liệu OpenAI:

ViệcTrước đâyVới GPT-6.2
Prompt dùng lạitrường instructionstin nhắn developer đầu input (vì instructions giờ bị đặt sau input)
Mức suy luậnnone hoặc minimallow (tích hợp mới bắt đầu ở medium)
Tham số cũtemperature, top_pbỏ đi, cùng các tham số logprobs
Chạy nền giá rẻservice_tier: flexBackground mode (public beta), cửa sổ 2 giờ hoặc 8 giờ

Mình nghĩ bạn nên làm gì trước khi thả agent chạy một mình?

Mình đứng trên dữ kiện: OpenAI phải viết hướng dẫn riêng để trị thói quen dừng hỏi, khuyên xem lại chữ "be concise", đổi chỗ đặt prompt, bỏ tham số cũ. Đây là model cần dạy lại, không phải bản cũ đổi tên.

Ba việc làm trước khi thả agent chạy đêm: dán 3 mẫu prompt, chạy thử một việc thật, rà lại cấu hình
Ba việc nên làm trước khi để agent chạy một mìnhẢnh: Tirza van Dijk tirzavandijk / Wikimedia Commons (CC0); Slashme / Wikimedia Commons (CC0)

Quay lại cảnh đầu: agent đứng ở bước 2 là lỗi bạn thấy ngay nếu chạy thử ban ngày. Trước khi bấm chạy tối nay, hãy dán 3 đoạn trên, giao một việc thật rồi ngồi xem nó có dừng ở bước 2 không. Bắt lỗi lúc 3 giờ chiều vẫn hơn phát hiện lúc 7 giờ sáng.

Nguồn

  1. OpenAI shares new prompting tips for GPT-6.2 Astra and Sol to fix brief answers and unnecessary questions The Decoder
  2. Using GPT-6.2 | OpenAI API Documentation OpenAI
  3. GPT-6.2 Astra | OpenAI API Documentation OpenAI
  4. GPT-6.2 Sol | OpenAI API Documentation OpenAI
  5. Pricing | OpenAI API Documentation OpenAI

Agent lập trìnhOpenAI & ChatGPTTự động hoá

Bài này có giúp ích cho bạn không?

Cùng chủ đề