モジュールからも公開されています。一つの関数がトークン化プロセスを逆転するために提供されています。これは、スクリプトを字句解析し、トークンのストリームに変更を加え、変更されたスクリプトを書き戻すようなツールを作成する際に便利です。ソースコードに変換します。少なくとも二つの要素、トークンタイプおよびトークン文字列、からなるシーケンスを返さなければいけません。その他のシーケンスの要素は無視されます。再構築されたスクリプトは一つの文字列として返されます。得られる結果はもう一度字句解析すると入力と一致することが保証されるので、変換がロスレスでありラウンドトリップできることは間違いありません。(コラム位置)のようなものは変わることがあり得ます。トークナイズしようとしているソースファイルのエンコーディングを検出する必要があります。ソースファイルをデコードするのに使うエンコーディングを検出するために使われます。