54895
お世話になります。

[pythonのドキュメント](https://docs.python.org/ja/3/reference/lexical_analysis.html)によると、以下のように書かれています。

> Python で書かれたプログラムは パーザ (parser) に読み込まれます。パーザへの入力は、 字句解析器 (lexical analyzer)
> によって生成された一連の トークン (token) からなります。

このときの字句解析器 (lexical analyzer) によって生成された一連のトークンを取得する方法はありますでしょうか？

具体的には以下のようなコードの場合、

```

    def function(foo):
        print(foo)
    
```

以下のような字句解析結果が取得したいと思っています。

```

    "def","function","(","foo",")",":","print","(","foo",")"
    
```

以上、宜しくおねがいします。
CC BY-SA 4.0
2019-05-11T11:19:05.117
54893
2019-05-11T12:12:04.370
2019-05-11T12:12:04.370
19110
23065
question
python python3
Pythonの字句解析結果を取得する方法について
標準で付属する`tokenize`モジュールはいかがですか?

<https://docs.python.org/ja/3/library/tokenize.html>
CC BY-SA 4.0
2019-05-11T11:46:53.683
54895
2019-05-11T11:46:53.683
9464
54893
answer