Token trong AI là gì? Cơ chế, phân loại và cách tối ưu chi phí

Token trong AI là đơn vị dữ liệu nhỏ nhất mà các mô hình ngôn ngữ như ChatGPT, Gemini hay Claude sử dụng để đọc và tạo ra văn bản. Thay vì xử lý cả câu như con người đọc sách, AI chia nhỏ mọi đoạn văn bản thành các token trước khi tính toán. Hiểu rõ cơ chế này giúp bạn đặt câu lệnh (prompt) thông minh hơn, kiểm soát chi phí API tốt hơn, và khai thác AI đúng cách trong công việc thực tế.

Token trong AI là gì?

Token trong AI là đơn vị xử lý ngôn ngữ cơ bản, được các mô hình học máy sử dụng để phân tích và sinh ra văn bản. Khi bạn gõ một câu hỏi vào ChatGPT, hệ thống không “đọc” câu đó như con người mà tách nó thành chuỗi token trước khi xử lý. Mỗi token có thể là một từ hoàn chỉnh, một phần của từ, một ký tự đơn, hoặc một dấu câu, tùy theo bộ mã hóa của từng mô hình. Ví dụ cụ thể: chuỗi “Tôi yêu AI” trong tiếng Anh tương đương có thể tách thành 3 đến 4 token tùy hệ thống.

Điểm quan trọng cần nắm: số lượng token không bằng số lượng từ. Một từ tiếng Anh phổ biến như “cat” thường chiếm 1 token. Nhưng một từ hiếm, dài, hoặc chứa ký tự đặc biệt có thể bị tách thành 2 đến 3 token. Trong tiếng Việt, do cấu trúc ngôn ngữ khác biệt, tỷ lệ token trên mỗi từ thường cao hơn tiếng Anh, thường từ 1,5 đến 2 token mỗi từ.

Token là nền tảng kỹ thuật của mọi ứng dụng xử lý ngôn ngữ tự nhiên hiện nay, từ chatbot đến công cụ dịch thuật, từ hệ thống tóm tắt văn bản đến các mô hình sinh code tự động.

Cơ chế hoạt động của token trong các mô hình AI

Quá trình xử lý token trong AI diễn ra theo 4 bước liên tiếp, bắt đầu từ lúc bạn nhấn Enter cho đến khi câu trả lời hiện ra trên màn hình. Hiểu 4 bước này giúp bạn biết chính xác điều gì xảy ra “bên trong” mỗi khi dùng ChatGPT, Claude hay Gemini.

Bước 1 – Tokenization (phân tách văn bản): Văn bản đầu vào được tách thành chuỗi token theo quy tắc của bộ mã hóa (tokenizer). Mỗi mô hình dùng tokenizer riêng, nên cùng một câu văn, GPT-4 có thể cho ra số token khác với Claude hay Gemini.

Bước 2 – Chuyển token thành ID số: Mỗi token được ánh xạ sang một con số nguyên dương từ từ điển của mô hình. GPT-4 có từ điển khoảng 100.000 token, trong khi các mô hình nhỏ hơn có thể chỉ có 30.000 đến 50.000 token.

Bước 3 – Biến đổi thành vector (embedding): Mỗi ID số được chuyển thành một vector số chiều cao, thường từ 768 đến 4.096 chiều tùy mô hình. Vector này mã hóa ý nghĩa ngữ nghĩa của token trong không gian toán học. Đây là bước làm cho AI “hiểu” được ngữ cảnh, ví dụ từ “ngân hàng” trong câu về tài chính khác với “ngân hàng” trong câu về bờ sông.

Bước 4 – Dự đoán token kế tiếp: Khi sinh câu trả lời, mô hình không viết toàn bộ câu một lần. Nó dự đoán xác suất của từng token tiếp theo dựa trên toàn bộ chuỗi token trước đó, rồi chọn token có xác suất cao nhất. Quá trình này lặp lại hàng trăm lần cho đến khi tạo thành câu trả lời hoàn chỉnh. Đây cũng là lý do AI đôi khi “bịa” thông tin, vì nó chọn token xác suất cao chứ không nhất thiết là token chính xác về mặt thực tế.

Về bản chất, mô hình ngôn ngữ lớn (LLM) không “nghĩ” mà dự đoán. Mỗi lần sinh văn bản, mô hình thực hiện hàng tỷ phép tính để xác định token tiếp theo có xác suất cao nhất trong ngữ cảnh hiện tại.

Các loại token phổ biến trong xử lý ngôn ngữ tự nhiên (NLP)

Trong lĩnh vực xử lý ngôn ngữ tự nhiên, không phải tất cả các mô hình đều dùng cùng một cách chia token. Tùy theo mục tiêu và ngôn ngữ cần xử lý, kỹ sư AI lựa chọn phương pháp tokenization phù hợp. Dưới đây là 5 loại token chính và đặc điểm của từng loại.

Phương pháp được dùng phổ biến nhất trong các mô hình ngôn ngữ lớn hiện nay là Subword Token, cụ thể là BPE (Byte Pair Encoding) hoặc SentencePiece. GPT-4 và Claude đều dùng biến thể của BPE, cho phép xử lý từ hiếm, từ chuyên ngành, và ngôn ngữ không Latin như tiếng Việt hoặc tiếng Nhật một cách hiệu quả hơn.

Cách tính số lượng token trong văn bản

Số lượng token không cố định và phụ thuộc vào 3 yếu tố: ngôn ngữ sử dụng, nội dung văn bản, và tokenizer của từng mô hình. Không có công thức chính xác áp dụng cho mọi trường hợp, nhưng có thể tham khảo các ngưỡng ước tính sau đây để lập kế hoạch trước khi gọi API.

Với tiếng Anh, quy tắc thực tế là 1 token xấp xỉ 4 ký tự hoặc 0,75 từ. Nghĩa là 1.000 từ tiếng Anh tương đương khoảng 1.300 đến 1.500 token. Với tiếng Việt, do mỗi âm tiết thường được tách riêng, tỷ lệ này cao hơn: 1.000 từ tiếng Việt thường tương đương 1.500 đến 2.000 token.

Công cụ để đếm token chính xác: OpenAI cung cấp Tokenizer miễn phí tại platform.openai.com, cho phép bạn dán bất kỳ đoạn văn bản nào vào và xem chính xác số token theo từng model. Anthropic cũng có công cụ tương tự trong tài liệu API.

Một lưu ý quan trọng: cả câu hỏi đầu vào (input tokens) lẫn câu trả lời đầu ra (output tokens) đều được tính vào tổng chi phí khi dùng API. Prompt dài càng chiếm nhiều token đầu vào, trong khi yêu cầu câu trả lời chi tiết sẽ tăng token đầu ra.

Token ảnh hưởng thế nào đến chi phí sử dụng AI?

Token là đơn vị tính phí trực tiếp của hầu hết dịch vụ AI thương mại. Khi dùng API của ChatGPT, Claude, hoặc Gemini, bạn trả tiền theo từng triệu token xử lý, không phải theo thời gian hay số lần gọi. Đây là lý do hiểu token là điều kiện tiên quyết để kiểm soát chi phí AI trong doanh nghiệp.

Ví dụ thực tế về chi phí: Theo bảng giá OpenAI công bố năm 2025, GPT-4o có giá khoảng 5 USD mỗi 1 triệu input token và 15 USD mỗi 1 triệu output token. Nếu một chatbot doanh nghiệp xử lý trung bình 500 hội thoại mỗi ngày, mỗi hội thoại dùng 2.000 token, tổng chi phí mỗi tháng có thể lên đến hàng nghìn đô la nếu không được tối ưu.

Token còn ảnh hưởng đến giới hạn context window (cửa sổ ngữ cảnh) của mô hình. Mỗi mô hình chỉ có thể “nhớ” một số token nhất định trong một lần hội thoại: GPT-4.1 hỗ trợ đến 1 triệu token context window, trong khi các phiên bản ChatGPT thông thường hiện bị giới hạn ở 32.000 token. Khi vượt giới hạn này, mô hình sẽ tự động bỏ qua phần đầu của hội thoại, dẫn đến việc “quên” thông tin đã trao đổi trước đó.

Token trong AI ảnh hưởng thế nào đến giới hạn ngữ cảnh (context window)?

Context window là tổng số token mà một mô hình AI có thể xử lý trong một phiên làm việc, bao gồm cả lịch sử hội thoại, tài liệu đính kèm và câu trả lời. Đây là một trong những chỉ số quan trọng nhất khi so sánh các mô hình AI.

Khi context window đầy, mô hình buộc phải cắt bỏ phần nội dung cũ nhất để nhường chỗ cho nội dung mới. Điều này có thể gây ra vấn đề nghiêm trọng trong các tác vụ yêu cầu nhớ thông tin xuyên suốt: phân tích tài liệu dài, dịch thuật văn bản lớn, hoặc duy trì hội thoại nhiều bước phức tạp.

Thực tế khi làm việc: nếu bạn upload một file PDF dài 50 trang (khoảng 25.000 từ, tương đương 35.000 đến 50.000 token tiếng Việt) vào ChatGPT giao diện web, mô hình có thể gặp khó khăn vì context window chỉ có 32.000 token. Trong trường hợp này, nên dùng API trực tiếp với mô hình hỗ trợ context window lớn hơn, hoặc chia tài liệu thành nhiều phần nhỏ.

So sánh token giữa các nền tảng AI phổ biến

Mỗi nền tảng AI lớn có cách tính token và đơn vị giá khác nhau. Hiểu sự khác biệt này giúp bạn chọn đúng công cụ cho từng tác vụ, tránh lãng phí chi phí không cần thiết.

Lưu ý khi so sánh: cùng một đoạn văn bản, số token của ChatGPT (dùng tiktoken) và Claude (dùng SentencePiece) có thể chênh nhau từ 5% đến 15%. Điều này ảnh hưởng trực tiếp đến chi phí nếu bạn xử lý khối lượng lớn văn bản tiếng Việt.

Cách tối ưu token để giảm chi phí và tăng hiệu quả

Tối ưu token là kỹ năng thực chiến quan trọng cho bất kỳ ai dùng AI theo dạng API hoặc tích hợp AI vào quy trình làm việc của doanh nghiệp. Dưới đây là các phương pháp cụ thể đã được kiểm chứng trong thực tế.

Viết prompt ngắn gọn, đúng trọng tâm: Loại bỏ mọi câu dẫn dắt không cần thiết. Thay vì viết “Bạn có thể giúp tôi viết một email cho khách hàng về việc hoàn tiền không?”, hãy viết “Viết email thông báo hoàn tiền cho khách hàng trong 150 từ.” Cách sau có thể tiết kiệm 20 đến 30 token cho mỗi lần gọi.

Giới hạn độ dài câu trả lời bằng tham số max_tokens: Khi gọi API, luôn đặt max_tokens ở mức đủ dùng. Nếu bạn cần tóm tắt 1 đoạn văn, 200 token là đủ, không cần để mặc định 4.096 token. Chi phí output token thường cao hơn input token từ 2 đến 3 lần ở hầu hết các mô hình.

Tối ưu lịch sử hội thoại: Không gửi lại toàn bộ lịch sử chat mỗi lần. Thay vào đó, hãy tóm tắt các cuộc hội thoại dài thành một đoạn ngắn gọn trước khi tiếp tục. Kỹ thuật này có thể giảm 40% đến 60% lượng token đầu vào trong các ứng dụng chatbot dài hơi.

Dùng few-shot examples thay vì long instructions: Thay vì giải thích dài dòng bạn muốn gì, hãy cho AI 2 đến 3 ví dụ cụ thể về đầu vào và đầu ra mong muốn. Few-shot prompting thường tốn ít token hơn nhưng cho kết quả chính xác hơn.

Chọn mô hình phù hợp với tác vụ: GPT-4o Mini hay Claude Haiku có chi phí thấp hơn 10 đến 20 lần so với các mô hình mạnh nhất, trong khi vẫn đủ tốt cho các tác vụ đơn giản như phân loại, trích xuất thông tin, hoặc trả lời câu hỏi ngắn. Không cần dùng mô hình mạnh nhất cho mọi tác vụ.

Token và GEO: Vì sao content dài hơn giúp AI trích dẫn thương hiệu của bạn?

Đây là khoảng trống lớn nhất mà ba đối thủ phân tích đều chưa đề cập: mối liên hệ giữa token, context coverage và khả năng được AI trích dẫn trong kết quả tìm kiếm thế hệ mới.

Khi Google AI Overview, ChatGPT Search hay Perplexity tổng hợp câu trả lời, chúng thực chất đang xử lý văn bản từ nhiều nguồn khác nhau thông qua cơ chế token. Một trang web có nội dung được viết theo chuẩn “semantic clarity” (câu rõ nghĩa, factual, độc lập từng đoạn) sẽ dễ được AI trích dẫn hơn vì mô hình dễ dàng xác định đoạn văn nào chứa câu trả lời cho query cụ thể.

Nói cụ thể hơn: mỗi đoạn content của bạn khi được AI xử lý, sẽ được tokenize và đánh điểm độ liên quan với query của người dùng. Nội dung có câu chủ đề rõ ràng, answer block độc lập (40 đến 60 từ), và dữ kiện cụ thể sẽ có điểm cao hơn trong quá trình này so với nội dung viết dạng tường văn không có cấu trúc.

Viwise có công thức content riêng giúp vừa thúc đẩy thứ hạng SEO truyền thống, vừa tăng tỷ lệ hiển thị trên các nền tảng AI như ChatGPT, Gemini, Google AI Overview và AI Mode. Cách tiếp cận này xây dựng từng đoạn content theo chuẩn “citation-ready”, nghĩa là mỗi đoạn văn có thể đứng độc lập khi AI trích xuất và vẫn truyền đủ thông tin về thương hiệu và chủ thể.

1 token bằng bao nhiêu tiền? Chi phí thực tế khi dùng API

Câu hỏi này xuất hiện nhiều trong Google AI Overview nhưng chưa đối thủ nào trả lời đủ chi tiết. Không có mức giá cố định cho 1 token, vì chi phí phụ thuộc vào mô hình, nhà cung cấp và loại token (input hay output).

Tham khảo mức giá thực tế theo công bố của các nhà cung cấp năm 2025 đến 2026: GPT-4o của OpenAI có giá từ 2,5 USD đến 5 USD mỗi 1 triệu input token và 10 USD đến 15 USD mỗi 1 triệu output token. Claude Sonnet của Anthropic có giá 3 USD đến 15 USD mỗi 1 triệu token tùy loại. Các mô hình nhỏ hơn như GPT-4o Mini hay Claude Haiku rẻ hơn 10 đến 20 lần.

Quy đổi đơn giản cho người không quen: nếu bạn dùng ChatGPT Plus với gói 20 USD mỗi tháng, mỗi token không tốn tiền riêng lẻ vì đây là gói dùng giao diện. Chi phí token chỉ phát sinh khi dùng API, tức là khi bạn tích hợp AI vào ứng dụng, website, hoặc workflow tự động.

Riêng token ngân hàng (hard token OTP) và token tiền mã hóa (crypto token) là hai khái niệm hoàn toàn khác biệt với token AI. Token ngân hàng là thiết bị tạo mật khẩu OTP vật lý, có giá khoảng 200.000 đến 300.000 đồng mỗi chiếc. Token tiền mã hóa là tài sản kỹ thuật số trên blockchain, có giá biến động liên tục.

Token trong LLM là gì? Sự khác biệt giữa token trong LLM và AI tổng quát

LLM là viết tắt của Large Language Model, tức mô hình ngôn ngữ lớn. Trong ngữ cảnh của LLM, token là đơn vị cơ bản mà mô hình dùng để xử lý văn bản, với một điểm đặc trưng quan trọng: LLM học được mối quan hệ thống kê giữa các token từ hàng nghìn tỷ từ dữ liệu huấn luyện.

Sự khác biệt chính giữa token trong LLM so với các hệ thống AI cũ hơn: các hệ thống AI truyền thống (như máy dịch dựa trên luật, hoặc hệ thống nhận dạng giọng nói cũ) xử lý từng đơn vị ngôn ngữ theo quy tắc cứng nhắc. LLM hiện đại xử lý token qua cơ chế attention, cho phép mỗi token “chú ý” đến tất cả các token khác trong chuỗi và tính trọng số quan hệ ngữ nghĩa. Đây là lý do LLM hiểu được ngữ cảnh phức tạp, đại từ, và hàm ý mà các hệ thống cũ không làm được.

Một số LLM nổi bật và tokenizer tương ứng: GPT-4 của OpenAI dùng tiktoken, BERT của Google dùng WordPiece, T5 dùng SentencePiece, trong khi LLaMA của Meta cũng dùng BPE. Mỗi tokenizer có cách phân chia từ khác nhau, dẫn đến số lượng token khác nhau cho cùng một đoạn văn bản.

Cách kiểm tra và đếm token chính xác trước khi gửi prompt

Biết cách đếm token trước khi gửi request giúp bạn tránh bị bất ngờ về chi phí và đảm bảo nội dung không vượt quá context window. Dưới đây là các công cụ và phương pháp thực tế.

Công cụ online miễn phí: OpenAI Tokenizer tại platform.openai.com/tokenizer là lựa chọn phổ biến nhất. Bạn có thể chọn model (gpt-4, gpt-3.5-turbo) và dán văn bản vào để xem số token cụ thể, đồng thời thấy mỗi token được highlight bằng màu sắc khác nhau.

Dùng thư viện Python cho developer: Thư viện tiktoken của OpenAI cho phép đếm token programmatically trong code Python. Với Claude, Anthropic cung cấp API count_tokens để lấy số token chính xác trước khi gửi request. Cả hai đều miễn phí và cần thiết khi xây dựng ứng dụng AI quy mô.

Quy tắc ước tính nhanh không cần công cụ: 1 trang A4 tiếng Anh (khoảng 500 từ) xấp xỉ 650 đến 750 token. 1 trang A4 tiếng Việt (khoảng 400 từ) xấp xỉ 700 đến 900 token. Đây là con số tham khảo, không thay thế cho đếm chính xác khi làm việc với tài liệu lớn.

Token trong AI không chỉ là khái niệm kỹ thuật dành cho lập trình viên. Hiểu token giúp bạn đặt câu lệnh thông minh hơn, kiểm soát chi phí API chủ động hơn, và chọn đúng mô hình AI cho từng tác vụ thay vì dùng công cụ mạnh nhất cho mọi việc. Với sự phát triển của AI search và GEO, token còn là nền tảng để hiểu vì sao một số nội dung được AI trích dẫn còn số khác thì không, từ đó xây dựng chiến lược content phù hợp với xu hướng tìm kiếm mới.

Nếu doanh nghiệp của bạn đang muốn tối ưu nội dung vừa cho Google truyền thống vừa cho các nền tảng AI, Viwise có thể đồng hành từ bước phân tích từ khóa đến xây dựng content theo chuẩn GEO:

• Website: Viwise Agency
• Hotline: 0988.622.140

Câu hỏi thường gặp về token trong AI

Token trong AI là gì theo cách đơn giản nhất?

Token là “mảnh nhỏ” của văn bản mà AI dùng để đọc và sinh ra chữ. Mỗi token có thể là một từ, một phần của từ, hoặc một ký tự đơn tùy theo cách thiết kế mô hình. Khi bạn nhập câu hỏi vào ChatGPT, hệ thống tách câu đó thành khoảng 15 đến 30 token trước khi xử lý.

Một từ tiếng Việt tương đương bao nhiêu token?

Tiếng Việt thường có tỷ lệ token cao hơn tiếng Anh do cấu trúc âm tiết khác biệt. Trung bình, 1 từ tiếng Việt tương đương 1,5 đến 2 token trong các mô hình phổ biến như GPT-4 hay Claude. Nghĩa là 1.000 từ tiếng Việt chiếm khoảng 1.500 đến 2.000 token, tốn chi phí API cao hơn tiếng Anh cho cùng nội dung.

Token trong AI ảnh hưởng đến chi phí như thế nào?

Hầu hết API AI tính phí theo đơn vị mỗi triệu token (input và output riêng biệt). Ví dụ, GPT-4o tính khoảng 5 USD mỗi 1 triệu input token và 15 USD mỗi 1 triệu output token. Prompt dài và yêu cầu câu trả lời chi tiết đều tăng số token, từ đó tăng chi phí trực tiếp.

Context window là gì và liên quan đến token như thế nào?

Context window là giới hạn tổng số token mà mô hình có thể xử lý trong một phiên làm việc, bao gồm cả lịch sử hội thoại. Khi vượt giới hạn này, mô hình sẽ tự cắt bỏ phần nội dung cũ nhất. GPT-4.1 hỗ trợ 1 triệu token context window, trong khi ChatGPT giao diện web thường giới hạn ở 32.000 token.

ChatGPT giới hạn bao nhiêu token?

Tùy phiên bản: GPT-4.1 hỗ trợ đến 1 triệu token context window, nhưng ChatGPT giao diện web (gói Plus) hiện giới hạn thực tế ở khoảng 32.000 token mỗi hội thoại. Điều này có nghĩa là trong cuộc trò chuyện rất dài, ChatGPT sẽ bắt đầu “quên” nội dung từ đầu buổi.

Làm sao để giảm số token khi dùng AI?

Có 3 cách hiệu quả nhất: viết prompt ngắn gọn thẳng vào vấn đề (loại bỏ câu chào hỏi, dẫn dắt dư thừa), đặt giới hạn max_tokens trong API để kiểm soát độ dài câu trả lời, và tóm tắt lịch sử hội thoại dài thay vì gửi lại toàn bộ. Ba cách này kết hợp có thể giảm 30% đến 50% chi phí token.

Token trong AI khác gì token tiền mã hóa (crypto)?

Hoàn toàn khác nhau về bản chất và mục đích. Token trong AI là đơn vị xử lý ngôn ngữ của mô hình học máy, không có giá trị tài chính. Token tiền mã hóa là tài sản kỹ thuật số trên blockchain, có giá thị trường biến động. Token ngân hàng (hard token OTP) cũng khác, đây là thiết bị bảo mật vật lý tạo mật khẩu một lần.

Token trong LLM và token trong AI có gì khác nhau?

LLM (Large Language Model) là một loại AI cụ thể, nên về cơ bản token trong LLM cũng là token trong AI. Tuy nhiên, LLM dùng cơ chế attention để tính trọng số quan hệ giữa các token, cho phép hiểu ngữ cảnh phức tạp hơn nhiều so với các hệ thống AI cũ vốn xử lý token theo quy tắc tuyến tính.