سلسلة :: tokenizer. سلسلة :: Tokenizer هو Tokenizer سلسلة بسيط.
التحميل الان

سلسلة :: tokenizer. الترتيب والملخص

سلسلة :: tokenizer. العلامات

الوحدة النمطية بيرل سلسلة امتداد بيرل المميز tokenizer سلسلة

سلسلة :: tokenizer. وصف

سلسلة :: Tokenizer هو Tomekenizer سلسلة بسيطة. السلسلة :: Tokenizer عبارة عن Tokenizer String String. # قم بإنشاء Tomekenizer و Thedeize إدخال مثالي من $ $ tokenizer = string :: tokenizer-> جديد ("((5 + 5) * 10)"، '+ * ()')؛ # إنشاء tokenizer بلدي tokenizer بلدي = سلسلة :: tokenizer-> جديد ()؛ # ... ثم قم بتكزف Trackize String $ Tokenizer-> قمزة ("((5 + 5) - 10)"، '()')؛ # سيتم طباعة "(، (، 5، +، 5،)، -، 10،)" طباعة الانضمام "،" => $ tokenizer-> gettokens ()؛ # إنشاء Tomekenizer الذي يحتفظ بمسافة بيضاء بلدي St = سلسلة :: Tomekenizer-> جديد ("هذا اختبار مع، (Signifigant) Whitespace"، "،"، "، سلسلة: Tokenizer-> Retain_Whitespace)؛ # هذا سوف يطبع: # "هذا"، "،"، "،"، "،"، "،"، "،"، "،"، "،"، "("، "signifigant"، " ) "،"، "Whitespace" طباعة "" ". (انضم "،" => $ tokenizer-> gettokens ()). "" "؛ # احصل على مزيد من الرمز المميز لي $ i = $ tokenizer-> ITERATOR ()؛ بينما ($ i-> hasnexttoken ()) {بلدي $ التالي = $ I-> nexttoken ()؛ # نظرة خاطفة مقدما في الرمز المميز التالي لي Look_Ahead = $ I-> LookAheadtoken ()؛ # ... # تخطي الرموز 2 التالية $ i-> skiptokens (2)؛ # ... # ثم تراجع 1 رمز بلدي السابق = $ I-> prevtoken ()؛ # ... # احصل على الرمز المميز الحالي لي الحالي = $ i-> customttoken ()؛ # ...} tokenizer سلسلة بسيطة تستغرق سلسلة ويقسمها على مسافة بيضاء. كما أنها تأخذ اختياريا سلسلة من الأحرف لاستخدامها كمحددين، وإرجاعها مع مجموعة الرمز المميز أيضا. يتيح ذلك تقسيم السلسلة في العديد من الطرق المختلفة. هذا هو مزامنة أساسية للغاية، لذلك يجب إما احتياجات أكثر تعقيدا إما مع تراكز مكتوبة مخصصة أو ما بعد معالجة الإخراج الناتجة عن هذه الوحدة. في الأساس، لن يملأ هذا لاحتياجات الجميع، لكنه يمتد فجوة بين سلسلة تقسيم / / دولار بسيطة والخيارات الأخرى التي تنطوي على المزيد من الوحدات الكبيرة والمعقدة. لاحظ أن هذا ليس محللا معجميا. كثير من الناس يخلطون من التكوين مع التحليل المعجمي. ينقسم الممتلكات مقلم من مدخلاته إلى قطع محددة، وهو محلل معجمي يصنف تلك القطع. في بعض الأحيان يتم دمج هذه الخطوتين، ولكن ليس هنا. الإبلاغ: متطلبات بيرل: perl.

سلسلة :: tokenizer. برامج ذات صلة