什么是robots，你可以理解為搜索引擎蜘蛛抓取的規則。當蜘蛛來到你的網站的時候首先會看下robot.txt這個文件，它會告訴蜘蛛哪些頁面可以抓取，哪些頁面要屏蔽掉不能抓取和收錄。Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
9月11日，百度搜索robots全新升級。升級后robots將優化對網站視頻URL收錄抓取情況。僅當您的網站包含不希望被視頻搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。如您的網站未設置robots協議，百度搜索對網站視頻URL的收錄將包含視頻播放頁URL，及頁面中的視頻文件、視頻周邊文本等信息，搜索對已收錄的短視頻資源將對用戶呈現為視頻極速體驗頁。此外，綜藝影視類長視頻，搜索引擎僅收錄頁面URL。
robots.txt文件的格式 robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結束符），每一條記錄的格式如下所示：
今日頭條的頭條百科會影響整個搜索市場么？
關鍵詞有排名卻沒咨詢？