Index: D:/dev/lucene/lucene-trunk/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java
===================================================================
--- D:/dev/lucene/lucene-trunk/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java	(revision 598379)
+++ D:/dev/lucene/lucene-trunk/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java	(working copy)
@@ -1,4 +1,4 @@
-/* The following code was generated by JFlex 1.4.1 on 8/9/07 10:15 AM */
+/* The following code was generated by JFlex 1.4.1 on 11/27/07 8:53 AM */
 
 package org.apache.lucene.analysis.standard;
 
@@ -25,8 +25,8 @@
 /**
  * This class is a scanner generated by 
  * <a href="http://www.jflex.de/">JFlex</a> 1.4.1
- * on 8/9/07 10:15 AM from the specification file
- * <tt>/tango/mike/src/lucene.tokenfix/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex</tt>
+ * on 11/27/07 8:53 AM from the specification file
+ * <tt>D:/dev/lucene/lucene-trunk/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex</tt>
  */
 class StandardTokenizerImpl {
 
@@ -63,12 +63,13 @@
   private static final int [] ZZ_ACTION = zzUnpackAction();
 
   private static final String ZZ_ACTION_PACKED_0 =
-    "\1\0\1\1\4\2\1\3\1\1\14\0\1\4\4\5"+
-    "\2\6\2\0\1\7\1\0\1\7\3\5\6\7\3\5"+
-    "\1\10\4\0\1\10\2\0\2\10\2\5\1\11";
+    "\1\0\1\1\4\2\1\3\1\1\6\0\2\2\6\0"+
+    "\1\4\4\5\2\6\2\0\1\7\1\0\1\7\3\5"+
+    "\6\7\3\5\1\10\4\0\1\10\2\0\2\10\2\5"+
+    "\1\11";
 
   private static int [] zzUnpackAction() {
-    int [] result = new int[57];
+    int [] result = new int[59];
     int offset = 0;
     offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
     return result;
@@ -96,14 +97,14 @@
     "\0\0\0\17\0\36\0\55\0\74\0\113\0\17\0\132"+
     "\0\151\0\170\0\207\0\226\0\245\0\264\0\303\0\322"+
     "\0\341\0\360\0\377\0\u010e\0\u011d\0\u012c\0\u013b\0\u014a"+
-    "\0\u0159\0\207\0\u0168\0\u0177\0\u0186\0\u0195\0\u01a4\0\u01b3"+
+    "\0\u0159\0\u0168\0\u0177\0\207\0\u0186\0\u0195\0\u01a4\0\u01b3"+
     "\0\u01c2\0\u01d1\0\u01e0\0\u01ef\0\u01fe\0\u020d\0\u021c\0\u022b"+
     "\0\u023a\0\u0249\0\u0258\0\u0267\0\u0276\0\u0285\0\u0294\0\u02a3"+
-    "\0\u02b2\0\u02c1\0\u02d0\0\u02df\0\170\0\377\0\u02ee\0\u02fd"+
-    "\0\u030c";
+    "\0\u02b2\0\u02c1\0\u02d0\0\u02df\0\u02ee\0\u02fd\0\170\0\u011d"+
+    "\0\u030c\0\u031b\0\u032a";
 
   private static int [] zzUnpackRowMap() {
-    int [] result = new int[57];
+    int [] result = new int[59];
     int offset = 0;
     offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
     return result;
@@ -127,49 +128,50 @@
 
   private static final String ZZ_TRANS_PACKED_0 =
     "\10\2\1\3\1\4\1\5\1\6\1\7\1\10\1\2"+
-    "\20\0\1\11\1\12\1\13\1\14\2\15\1\16\1\3"+
-    "\1\4\1\5\1\6\5\0\1\17\1\0\1\20\2\21"+
-    "\1\22\3\4\1\6\4\0\1\11\1\23\1\13\1\14"+
-    "\2\21\1\22\1\5\1\4\1\5\1\6\5\0\1\24"+
-    "\1\0\1\20\2\15\1\16\4\6\21\0\1\2\10\0"+
-    "\1\25\1\0\1\25\14\0\1\26\1\27\1\30\1\31"+
-    "\13\0\1\32\1\0\1\32\14\0\1\33\1\34\1\33"+
-    "\1\34\13\0\1\35\2\36\1\37\13\0\1\16\2\40"+
-    "\14\0\1\41\2\42\1\43\13\0\4\34\13\0\1\44"+
-    "\2\45\1\46\13\0\1\47\2\50\1\51\13\0\1\52"+
-    "\1\42\1\53\1\43\13\0\1\54\2\27\1\31\4\0"+
-    "\1\11\6\0\1\25\1\0\1\25\6\0\1\55\1\0"+
-    "\1\20\2\56\1\0\1\26\1\27\1\30\1\31\5\0"+
-    "\1\57\1\0\1\20\2\60\1\61\3\27\1\31\5\0"+
-    "\1\62\1\0\1\20\2\60\1\61\1\30\1\27\1\30"+
-    "\1\31\5\0\1\63\1\0\1\20\2\56\1\0\4\31"+
-    "\5\0\1\64\2\0\1\64\2\0\1\33\1\34\1\33"+
-    "\1\34\5\0\1\64\2\0\1\64\2\0\4\34\5\0"+
-    "\1\56\1\0\1\20\2\56\1\0\1\35\2\36\1\37"+
-    "\5\0\1\60\1\0\1\20\2\60\1\61\3\36\1\37"+
-    "\5\0\1\56\1\0\1\20\2\56\1\0\4\37\5\0"+
-    "\1\61\2\0\3\61\3\40\6\0\1\24\1\0\1\20"+
-    "\2\15\1\16\1\41\2\42\1\43\5\0\1\17\1\0"+
-    "\1\20\2\21\1\22\3\42\1\43\5\0\1\24\1\0"+
-    "\1\20\2\15\1\16\4\43\5\0\1\15\1\0\1\20"+
-    "\2\15\1\16\1\44\2\45\1\46\5\0\1\21\1\0"+
-    "\1\20\2\21\1\22\3\45\1\46\5\0\1\15\1\0"+
-    "\1\20\2\15\1\16\4\46\5\0\1\16\2\0\3\16"+
-    "\1\47\2\50\1\51\5\0\1\22\2\0\3\22\3\50"+
-    "\1\51\5\0\1\16\2\0\3\16\4\51\5\0\1\65"+
-    "\1\0\1\20\2\15\1\16\1\52\1\42\1\53\1\43"+
-    "\5\0\1\66\1\0\1\20\2\21\1\22\1\53\1\42"+
-    "\1\53\1\43\5\0\1\63\1\0\1\20\2\56\1\0"+
-    "\1\54\2\27\1\31\13\0\1\67\1\31\1\67\1\31"+
-    "\13\0\4\37\13\0\4\43\13\0\4\46\13\0\4\51"+
-    "\13\0\1\70\1\43\1\70\1\43\13\0\4\31\13\0"+
-    "\4\71\5\0\1\55\1\0\1\20\2\56\1\0\1\67"+
-    "\1\31\1\67\1\31\5\0\1\65\1\0\1\20\2\15"+
-    "\1\16\1\70\1\43\1\70\1\43\5\0\1\64\2\0"+
-    "\1\64\2\0\4\71\3\0";
+    "\20\0\1\11\1\12\1\13\1\14\2\15\1\16\1\17"+
+    "\1\4\1\20\1\6\5\0\1\21\1\0\1\22\2\23"+
+    "\1\24\3\4\1\6\4\0\1\11\1\25\1\13\1\14"+
+    "\2\23\1\24\1\20\1\4\1\20\1\6\5\0\1\26"+
+    "\1\0\1\22\2\15\1\16\4\6\21\0\1\2\10\0"+
+    "\1\27\1\0\1\27\14\0\1\30\1\31\1\32\1\33"+
+    "\13\0\1\34\1\0\1\34\14\0\1\35\1\36\1\35"+
+    "\1\36\13\0\1\37\2\40\1\41\13\0\1\16\2\42"+
+    "\5\0\1\11\1\26\1\13\1\14\2\15\1\16\1\17"+
+    "\1\4\1\20\1\6\4\0\1\11\1\21\1\13\1\14"+
+    "\2\23\1\24\1\20\1\4\1\20\1\6\13\0\1\43"+
+    "\2\44\1\45\13\0\4\36\13\0\1\46\2\47\1\50"+
+    "\13\0\1\51\2\52\1\53\13\0\1\54\1\44\1\55"+
+    "\1\45\13\0\1\56\2\31\1\33\4\0\1\11\6\0"+
+    "\1\27\1\0\1\27\6\0\1\57\1\0\1\22\2\60"+
+    "\1\0\1\56\2\31\1\33\5\0\1\61\1\0\1\22"+
+    "\2\62\1\63\3\31\1\33\5\0\1\64\1\0\1\22"+
+    "\2\62\1\63\3\31\1\33\5\0\1\65\1\0\1\22"+
+    "\2\60\1\0\4\33\5\0\1\66\2\0\1\66\2\0"+
+    "\1\35\1\36\1\35\1\36\5\0\1\66\2\0\1\66"+
+    "\2\0\4\36\5\0\1\60\1\0\1\22\2\60\1\0"+
+    "\1\37\2\40\1\41\5\0\1\62\1\0\1\22\2\62"+
+    "\1\63\3\40\1\41\5\0\1\60\1\0\1\22\2\60"+
+    "\1\0\4\41\5\0\1\63\2\0\3\63\3\42\6\0"+
+    "\1\26\1\0\1\22\2\15\1\16\1\43\2\44\1\45"+
+    "\5\0\1\21\1\0\1\22\2\23\1\24\3\44\1\45"+
+    "\5\0\1\26\1\0\1\22\2\15\1\16\4\45\5\0"+
+    "\1\15\1\0\1\22\2\15\1\16\1\46\2\47\1\50"+
+    "\5\0\1\23\1\0\1\22\2\23\1\24\3\47\1\50"+
+    "\5\0\1\15\1\0\1\22\2\15\1\16\4\50\5\0"+
+    "\1\16\2\0\3\16\1\51\2\52\1\53\5\0\1\24"+
+    "\2\0\3\24\3\52\1\53\5\0\1\16\2\0\3\16"+
+    "\4\53\5\0\1\67\1\0\1\22\2\15\1\16\1\43"+
+    "\2\44\1\45\5\0\1\70\1\0\1\22\2\23\1\24"+
+    "\3\44\1\45\5\0\1\65\1\0\1\22\2\60\1\0"+
+    "\1\56\2\31\1\33\13\0\1\71\1\33\1\71\1\33"+
+    "\13\0\4\41\13\0\4\45\13\0\4\50\13\0\4\53"+
+    "\13\0\1\72\1\45\1\72\1\45\13\0\4\33\13\0"+
+    "\4\73\5\0\1\57\1\0\1\22\2\60\1\0\4\33"+
+    "\5\0\1\67\1\0\1\22\2\15\1\16\4\45\5\0"+
+    "\1\66\2\0\1\66\2\0\4\73\3\0";
 
   private static int [] zzUnpackTrans() {
-    int [] result = new int[795];
+    int [] result = new int[825];
     int offset = 0;
     offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
     return result;
@@ -207,11 +209,12 @@
   private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
 
   private static final String ZZ_ATTRIBUTE_PACKED_0 =
-    "\1\0\1\11\4\1\1\11\1\1\14\0\7\1\2\0"+
-    "\1\1\1\0\16\1\4\0\1\1\2\0\5\1";
+    "\1\0\1\11\4\1\1\11\1\1\6\0\2\1\6\0"+
+    "\7\1\2\0\1\1\1\0\16\1\4\0\1\1\2\0"+
+    "\5\1";
 
   private static int [] zzUnpackAttribute() {
-    int [] result = new int[57];
+    int [] result = new int[59];
     int offset = 0;
     offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
     return result;