雅虎应用雅虎搜索引擎技术(Yahoo! Search Engine Technology又被称做YST)，它是一套基于算法的Web索引抓取程序，这种搜索程序能够自动探测网络内容。
YST 这套机器搜索程序从因特网上采集文档，建立起一个可搜索的索引系统。这些文件（即您的网站文件）能被YST程序发现和抓取的主要原因是，在因特网其他的网页上包含有这些文档的直接链接。
YST 搜索程序都是严格遵守robots.txt 标准执行抓取的，因此，对于网站主不希望被雅虎搜索引擎返回的结果，搜索程序是不会执行抓取的。还有，那就是任何被robots.txt 标准认为不适宜抓取的文件，YST 搜索程序也不会将其囊括进抓取文档，更不会将其列入搜索引擎数据库。
搜索引擎优化（www.googleseo.net.cn）小组
