jp.sourceforge.tokenizer
クラス Tokenizer

java.lang.Object
  上位を拡張 jp.sourceforge.tokenizer.Tokenizer

public final class Tokenizer
extends java.lang.Object

字句解析を行います。入力文字列を解析して、トークンに分解します。

分解するトークンは、TokenInfoインターフェイスを実装したクラスを作成し、そのインスタンスをコンストラクタで与えてください。 Tokenizerクラスは、TokenInfo.getTokenPattern()メソッドが返す正規表現を使用して文字列を解析し、合致する文字列をトークンとして切り出します。

作成者:
uguu@users.sourceforge.jp

コンストラクタの概要
Tokenizer(java.lang.String text)
           インスタンスを初期化します。
 
メソッドの概要
 Token current()
           現在読み込んでいるトークンを返します。
 boolean read(TokenInfo[] readTokenInfos, TokenInfo[] skipTokenInfos)
           文字列を解析し、トークンを読み込みます。
 
クラス java.lang.Object から継承されたメソッド
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait
 

コンストラクタの詳細

Tokenizer

public Tokenizer(java.lang.String text)

インスタンスを初期化します。

パラメータ:
text - 解析対象の文字列。nullの場合、NullPointerException例外をスローします。
メソッドの詳細

current

public Token current()

現在読み込んでいるトークンを返します。初期化直後のトークンが読み込まれていない状態では、nullを返します。文字列の終端まで解析が完了している場合はEofTokenインスタンスを返します。

戻り値:
現在読み込んでいるトークン、null、またはEofTokenインスタンス。

read

public boolean read(TokenInfo[] readTokenInfos,
                    TokenInfo[] skipTokenInfos)

文字列を解析し、トークンを読み込みます。読み込むトークンはreadTokenInfos引数で指定します。skipTokenInfos引数で指定したトークンは読み込まれず、スキップされます。複数のトークンに一致した場合、TokenizerException例外をスローします。

パラメータ:
readTokenInfos - 読み込むトークンの配列。nullの場合、配列にnullが含まれる場合、NullPointerException例外をスローします。配列の要素が0の場合、IllegalArgumentException例外をスローします。
skipTokenInfos - スキップするトークンの配列。nullの場合、配列にnullが含まれる場合、NullPointerException例外をスローします。
戻り値:
トークンを読み込んだ場合はtrue、トークンの正規表現に一致しなかった場合、文字列の終端まで解析した場合、false。


Copyright © 2006 null. All Rights Reserved.