jp.sourceforge.tokenizer
インタフェース TokenInfo

既知の実装クラスの一覧:
AnyCharacterNotSkipTokenInfo, LeftBracketTokenInfo, MinusTokenInfo, NumberTokenInfo, PercentTokenInfo, PlusTokenInfo, RightBracketTokenInfo, SkipTokenInfo, SlashTokenInfo, StarTokenInfo

public interface TokenInfo

Tokenizerクラスが文字列から切り出すトークンの情報を持ちます。Tokenizerクラスは、getTokenPattern()メソッドが返すパターンで入力文字列から部分文字列を切り出し、createToken(String, int, int)メソッドを呼び出してTokenインスタンスを生成します。

作成者:
uguu@users.sourceforge.jp

メソッドの概要
 Token createToken(java.lang.String token, int line, int column)
           トークンを切り出したときに、Tokenizerクラスによって呼び出されます。
 java.util.regex.Pattern getTokenPattern()
           切り出すトークンの正規表現を返してください。
 

メソッドの詳細

getTokenPattern

java.util.regex.Pattern getTokenPattern()

切り出すトークンの正規表現を返してください。Tokenizerクラスは、この正規表現を用いてトークンを識別します。

戻り値:
切り出すトークンの正規表現。nullを返した場合、TokenizerクラスはNullPointerException例外をスローします。

createToken

Token createToken(java.lang.String token,
                  int line,
                  int column)

トークンを切り出したときに、Tokenizerクラスによって呼び出されます。切り出した文字列、行番号、列番号の情報が渡されるので、その情報を元にTokenインスタンスを生成して返してください。

パラメータ:
token - 切り出した文字列。
line - 行番号。0から始まる。
column - 列番号。0から始まる。
戻り値:
引数の情報を元に生成したTokenインスタンス。


Copyright © 2006 null. All Rights Reserved.