lexical analysis

• derleyicilerin ilk ve gerçeklenmesi en basit safhası olarak bilinir. bir kod metninin, regular expression'lar ile token formatı belirlenmiş dile göre finite state machine oluşturularak tokenlarına ayrıştırılması işlemidir.
  
  (bkz: lex)
• derleyicilerin ilk safhasıdır. kaynak kodu alır ve yorum satırlarını, boslukları kaldırarak tokenlara ayırır. eğer token gecersizse hata döndüdür.
• source code -> tokens -> abstract syntax tree
  
  bu flowdaki ikinci adımı temsil eder.
  
  örneğin "let x = 5 + 5;" dediğimiz vakit şu şekilde görünür.
  
  [
  let,
  ıdentıfıer("x"),
  equal_sıgn,
  ınteger(5),
  plus_sıgn,
  ınteger(5),
  semıcolon
  ]
• yeni bir programlama dili yaparken yaklaşım ve dizaynın düşünülmesinden sonra ilk girişilen kısım.