スクレイピングをXHTMLのXPathははまった

HTML文書内の特定の場所を、XPathで位置を特定しようとするんだけれど、なかなかうまくいかない。
FireBugは存在しないタグを勝手に補填するし、Tidyで補正しても、、、

その後、rubyのHpricotでは指定した場所をうまく捉えることができない。
この部分はバグなのかな。。。。。

結局は、スクレイピングは自分でライブラリを（また）作るしかないのか。
時間がかかりそう。

すみません、ぼやきで。
これで数週間はつぶれてしまう。