雅虎应用雅虎搜索引擎技术(Yahoo! Search Engine Technology，简称YST),它是一套基于算法的Web索引抓取程序，能够自动探测网络内容。YST 这套机器搜索程序从因特网上采集文档，建立起一个可搜索的索引系统。这些文件（即您的网站文件）能被YST程序发现和抓取的主要原因是，在因特网其他的网页上包含有这些文档的直接链接。

    YST 搜索程序严格遵守robots.txt标准执行抓取，因此，对于那些您不希望被雅虎搜索引擎返回的结果，搜索程序不会执行抓取。任何被robots.txt标准认为不适宜抓取的文件，既不会被包括在抓取文档中，也不会进入到搜索引擎的数据库。