OpenAIのトークナイザー「tiktoken」の使い方をまとめました。 「tiktoken」は、OpenAI のモデルで使用する高速 BPE トークナイザーです。同等のオープンソースのトークナイザーよりも3～6倍高速です。OpenAI APIで利用するトークン数をカウントするのにも使えます。

This is a work-in-progress walkthrough of the OpenAI tiktoken package including Python examples of text tokenization, viewing the internal dictionary, multi-byte unicode, logit bias, and more. The ...

File: 0_small.txt (2000 - 68) - Avg Time: 0.04ms, StdDev: 29.47% File: 1_medium.txt (200 - 1068) - Avg Time: 0.54ms, StdDev: 3.07% File: 2_large.txt (20 - 923942 ...

「今度試してみたいな」って思ったのでメモ。但し、予定は未定。 「強調はしたけど、その意味や理由やら前後関係も大事 ...