科技應用 Google 網路 爬蟲 REP Google希望制訂更嚴謹的「REP」網路爬蟲機器人標準 讓網站內容抓取更有效率 Google要將自身打造的網路爬蟲機器人Googlebot所使用「REP」解析器開源，藉此作為標準設計參考依據，並且期望能以此帶動讓「REP」協定設計能有更嚴謹、統一的標準。 Google稍早宣布，將針對1994年由荷蘭軟體工程師Martijn Koster提出的「Robot Exclusion Protocol (REP,網路爬蟲機器人協定)」提出真正標準。 Filtered vintage tin toy robots isolated on white background 雖然過去25年以來，諸多網站與網路搜尋服務都是依照「REP」協定設計，透過存放在網站根目錄的robot.txt宣告 Mash Yang 5 年前
