過去在操作規模較小的網站時，重點往往是增加網站的網頁索引數，但操作大型網站除了增加索引數外，更重要的是引導搜尋引擎爬取正確的路線/頁面，意即有效控制索引範圍。一方面是不浪費索引的額度（Google對每個網站都有一定的索引額度），另一方面也是不增加我們網站本身的流量負擔（CDN等也是很貴的）。
避免重要頁面埋得太深而不易被索引，重要的頁面離首頁愈近愈好，愈多內部連結連到愈好。
因此，重要的頁面要放在三層以內，確保網址不會因為太長而被捨棄索引。
避免robot迴圈般的爬取網址，或爬某個需要登入或偽連結，導致連不到重點和深層連結。
網站上有些功能是需要登入才能使用的，因此當點擊這個連結的時候，如果使用者沒有登入，就會回傳登入頁面。若是robot做這個動作，它就會看到soft 404，也就是想要找的頁面不見了，但又沒有回傳404。
解決辦法，最簡單的就是當使用者沒有登入的時候，就不要顯示這個連結；或是，在這個連結上加入 「nofollow」，明確告知robot不要去爬。
網站格式統一，避免同一頁但不同網址的頁面競爭排名。使用canonical可能會導致網站總索引數下降，但若下降也代表網站有太多虛報的頁面了。
避免robot爬到或索引到不必要的頁面，例如：需要登入的頁面、沒有價值的頁面。好處是避免robot不停地去訪問這些頁面，減少流量的負擔。我們家網站在做這個優化後，在search console上可以看到robot每日讀取的byte數逐漸下降。
另外，你可能會有疑惑，到底什麼時候要用robots.txt：disallow？什麼時候要用meta noindex呢？我的原則是，如果這是server端的controller而非view，或是在某個資料夾底下都要阻擋，那就用robots.txt：disallow；而若只是單一頁面，就可用meta noindex。順到一提，如果想要使用search console上在搜尋結果上移除網址的功能，這兩個動作至少要選一個來做。
避免robot爬到或索引到不必要的頁面，或建議對某些有意義的參數設定逐一檢索。這個要小心設定，對於網站索引數是有一定大的影響的。
另外，使用canonical或search console網址參數設定的判斷標準是比較模糊的，這邊我兩邊都會做設定，但若參數太多太複雜太難考究，我就會以search console網址參數設定為主，避免網站索引數掉得太多。
以上重點是這一年我在露天拍賣網站上，對於控制索引範圍議題的構思、實作與心得，但由於寫文章的時間有限就只能簡短摘要了，歡迎交流討論噢。
由於部落格搬家了，因此在新落格也放了一份，未來若有增刪會在這裡更新-網站如何控制索引範圍？。