前回、OrionParserの全体像を紹介した。今回から中身の実装に入る。 最初に取り組むのは字句解析(Lexer)だ。ソースコードをトークンの列に変換する処理になる。 OrionParserでは**PLY(Python Lex-Yacc)**を使っている。大学・大学院の研究でPLYにはずっとお世話に ...
Pythonのソースコード解析ツール OrionParser を2年間作ろうとしていた。 PLYで文法規則を書いて、テストして、壊して、直して。正直、何度も心が折れた。対応すべき構文が次から次へと出てきて、1つ直すと別が壊れる。そのうち手が止まった。 それがClaude Code ...
A sophisticated compiler frontend and parsing engine built using Python and ANTLR4. This project defines the formal grammar for a custom programming language (MiniLang) and generates robust lexer and ...
高速なPythonの実装系を開発しているPyPyチームは2019年10月8日(米国時間)、「PyPy Status Blog: PyPy's new JSON parser」において、ここ1、2年で取り組んできたJSONパーサの高速化の取り組みについて発表した。 JSONデータは特に扱いが増えているデータ形式。さまざまな ...