安下載(俺下載):打造放心的綠色安全下載站! 安下載首頁|軟件分類|最近更新

所在位置:首頁 > 電腦軟件 > 網絡軟件 > 網絡監測 > Screaming Frog SEO Spider(網絡爬蟲開發工具) v8.3 特別版

Screaming Frog SEO Spider(網絡爬蟲開發工具)

 v8.3 特別版
  • 軟件大小:184.88 MB
  • 更新日期:2019-10-09 11:53
  • 軟件語言:簡體中文
  • 軟件類別:網絡監測
  • 軟件授權:免費版
  • 軟件官網:
  • 適用平臺:WinXP, Win7, Win8, Win10, WinAll
  • 軟件廠商:

10.0
軟件評分

本地下載文件大小:184.88 MB 進入評論發表您對該軟件的看法?

手機掃描查看

軟件介紹人氣軟件網友評論下載地址

為您推薦:網絡監測

  Screaming Frog SEO Spider是一款專門用于抓取網址進行分析的網絡爬蟲開發工具,能夠高效地對小型以及超大型網站進行爬網,同時允許用戶實時分析結果,可以直接通過程序收集關鍵的現場數據,以使SEO能夠做出明智的決策;支持渲染爬網,通過在執行JavaScript后對渲染的HTML進行爬網,從而抓取AngularJS和React之類的JavaScript框架;支持圖片抓取,此功能具有圖片鏈接的所有URI和給定頁面中的所有圖片,圖片超過100kb,缺少替代文字,替代文字超過100個字符;提供用戶代理切換器:爬行為Googlebot,Bingbot,Yaho,Slurp,移動用戶代理或您自己的自定義UA;強大又實用,需要的用戶可以下載體驗

Screaming Frog SEO Spider(網絡爬蟲開發工具)

軟件功能

  1、查找斷開的鏈接、錯誤和重定向

  2、分析頁面標題和元數據

  3、審查元機器人和指令

  4、審計hreflang屬性

  5、發現重復的頁面

  6、生成XML站點地圖

  7、爬網限制

  8、抓取配置

  9、保存抓取并重新上傳

  10、自定義源代碼搜索

  11、自定義提取

  12、Google Analytics集成

  13、Search Console集成

  14、鏈接指標集成

  15、JavaScript渲染抓取

  16、自定義robots.txt抓取

軟件特色

  1、找到斷開的鏈接

  立即抓取網站,找到損壞的鏈接(404)和服務器錯誤。批量導出錯誤和源URL以修復或發送給開發人員。

  2、審計重定向

  找到臨時和永久的重定向,識別重定向鏈和循環,或者上傳一個網址列表,以在網站遷移中進行審計。

  3、分析頁面標題和元數據

  在抓取過程中分析頁面標題和元描述,并確定在您的網站中過長,短小,缺失或重復的頁面標題和元描述。

  4、發現重復的內容

  使用md5算法檢查發現精確的重復網址、部分重復的網頁標題、說明或標題等元素,并找到內容較低的網頁。

  5、使用XPath提取數據

  使用CSS Path,XPath或regex從網頁的HTML中收集任何數據。這可能包括社交元標簽、額外的標題、價格、SKU或更多!

安裝步驟

  1、需要的用戶可以點擊本網站提供的下載路徑下載得到對應的程序安裝包

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  2、通過解壓功能將壓縮包打開,找到主程序,雙擊主程序即可進行安裝,可以直接安裝,也可以自定義安裝

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  3、點擊第二個自定義安裝的用戶可以根據自己的需要點擊瀏覽按鈕將應用程序的安裝路徑進行更改

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  4、快捷鍵選擇可以根據自己的需要進行選擇,也可以選擇不創建

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  5、現在準備安裝主程序。點擊“安裝”按鈕開始安裝

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  6、等待應用程序安裝進度條加載完成即可,需要等待一小會兒

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  7、根據提示點擊安裝,彈出程序安裝完成界面,點擊完成按鈕即可

Screaming Frog SEO Spider(網絡爬蟲開發工具)

Screaming Frog SEO Spider(網絡爬蟲開發工具)

破解方法

       1、程序安裝完成后,可以直接點擊程序將其打開,同意程序許可協議

Screaming Frog SEO Spider(網絡爬蟲開發工具)

       2、點擊程序注冊按鈕,點擊后即可將應用程序的注冊界面打開,可以得到對應的程序界面

Screaming Frog SEO Spider(網絡爬蟲開發工具)

       3、打開安裝包中的程序注冊機,一打開就可以看到對應的程序注冊信息

Screaming Frog SEO Spider(網絡爬蟲開發工具)

       4、將程序注冊機中的數據復制到激活對話框中進行激活程序

Screaming Frog SEO Spider(網絡爬蟲開發工具)

5、激活成功后可以看到一個激活成功界面,點擊確認按鈕即可享受破解后的應用程序

Screaming Frog SEO Spider(網絡爬蟲開發工具)

使用方法

  運行SEO蜘蛛

  SEO Spider可以通過以下兩種方式之一運行。

  圖形用戶界面

  點擊屏幕左下方的“開始”圖標,輸入“ SEO Spider”以找到它,然后單擊它以開始,

  故障排除

  “打開文件寫入錯誤” –重新啟動計算機,然后重試安裝。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  爬行子文件夾

  默認情況下,SEO Spider工具從子文件夾路徑向前爬網。只需輸入完整的子文件夾URL即可對其進行爬網。

  例如,如果是博客,則可能是– https://www.screamingfrog.co.uk/blog/。通過直接將其輸入到SEO Spider中,它將抓取/ blog /子文件夾中包含的所有URL。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  您可能會注意到,默認情況下,某些不在/ blog /子文件夾中的URL也會被爬網。這是由于“ 開始文件夾之外的檢查鏈接 ”配置所致。

  通過此配置,SEO Spider可以將其焦點集中在/ blog /目錄中,但當從內部鏈接到該目錄時,仍可以對不在此目錄中的鏈接進行爬行。但是,它不會進一步爬行。這很有用,因為您可能希望找到位于/ blog /子文件夾中的斷開鏈接,但URL結構中沒有/ blog /。要僅使用/ blog /抓取URL,只需取消選中此配置即可。

  如果子文件夾末尾沒有斜杠,例如'/ blog'而不是'/ blog /',則SEO Spider不會將其識別為子文件夾并在其中爬行。如果子文件夾的斜杠版本重定向到非斜杠版本,則同樣適用。

  要抓取此子文件夾,您需要使用include功能并輸入該子文件夾的正則表達式(在此示例中為。* blog。*)。

  如果您有更復雜的設置(例如子域和子文件夾),則可以同時指定兩者。例如– http://de.example.com/uk/,將.de子域和UK子文件夾等蜘蛛化。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  搜尋網址清單

  除了通過輸入URL并單擊“開始”對網站進行爬網外,您還可以切換到列表模式,并粘貼或上載要爬網的特定URL列表。

  例如,這對于審核URL和重定向的站點遷移特別有用。我們建議您閱讀有關“ 如何在站點遷移中審核重定向 ”的指南,以獲取最佳方法。

  如果您希望以列表模式上載的相同順序導出數據,請使用用戶界面頂部“上載”和“開始”按鈕旁邊的“導出”按鈕。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  導出中的數據將以相同的順序進行,并包含原始上傳文件中的所有確切URL,包括重復的文件或執行的任何修復程序

  爬行較大的網站

  如果您希望執行特別大的爬網,建議您先增加SEO Spider中的RAM內存分配。

  如果收到“此爬網內存不足”警告,則需要保存爬網,增加RAM分配并考慮切換到數據庫存儲模式以保存到磁盤,打開爬網并繼續爬網。

  SEO Spider可以爬網的URL數量取決于計算機上可用的內存量,是否分配了內存,是否在默認內存存儲或數據庫存儲模式下進行爬網。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  對于大型爬網,請閱讀我們的有關如何爬網大型網站的指南,其中概述了可用的選項。

  您不妨考慮將爬網分成較小的部分,并使用配置來控制爬網。一些選項包括–

  如上所述按子域或子文件夾進行爬網。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  通過使用include函數來縮小爬網范圍,或者通過使用排除或自定義robots.txt功能來排除不需要爬網的區域 。

  考慮限制由抓取總網址抓取,深度和數量的查詢字符串參數。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  通過取消勾選SEO Spider的配置中的圖像,CSS,JavaScript,SWF和外部鏈接,僅考慮對內部HTML進行爬網。

  這些都應有助于節省內存并將爬網集中在重要區域上如何爬行大型網站。

常見問題

  可索引和不可索引的是什么意思?

  抓取中發現的每個URL都分類為“可索引”或“不可索引”。

  “可索引”是指可以抓取,以“ 200”狀態代碼響應并允許被索引的URL。

  “不可索引”是無法被抓取,不會以“ 200”狀態代碼響應或具有不被索引的指令的URL。

  每個不可索引的URL都有一個與之相關的“可索引性狀態”,它可以快速解釋為什么它不可索引。

  不可索引的網址可以包括以下網址-

  被robots.txt阻止。

  沒有反應。

  重定向(3XX,元刷新或JavaScript重定向)。

  客戶端錯誤(4XX)。

  服務器錯誤(5XX)。

  Noindex(或“無”)。

  規范化。沒有。

  SEO Spider將考慮元機器人,X-Robots-Tag,規范鏈接元素以及用于指令和規范的rel =“ canonical” HTTP標頭信息。出于各種原因,網站具有自我引用的元刷新是很常見的,并且通常這不會影響頁面的索引編制。但是,由于它正在重定向到自身,因此應進行進一步調查,這就是為什么將其標記為“不可索引”的原因。

  要停止將自引用元刷新URL視為“不可索引”,請取消選中“配置>蜘蛛>高級”下的“尊重自引用元刷新”配置。您有API嗎?

  簡而言之,沒有。 SEO Spider是您在本地下載,安裝和運行的桌面應用程序。因此沒有API。

  有一個命令行界面以編程方式使用該工具。 SEO Spider還內置有計劃功能。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  為什么GUI文本出現亂碼?

  這是由本地字體問題觸發的,通常是由于安裝了重復的Arial字體引起的。

  要調查,請打開“ FontBook”應用程序。轉到“編輯->查找已啟用的重復項...”以刪除所有重復項。解決這些問題后,請嘗試重新啟動SEO Spider。如果仍然有問題,請返回FontBook并查看您的Arial字體,是否有任何有關它們需要修復的消息?如果是這樣,請修復它們并重新啟動SEO Spider。如果仍然有問題,請轉到“文件->恢復標準字體...”。由此刪除的字體將進入“字體簿”中的單獨文件夾中,因此您可以根據需要將它們重新添加。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  如何在列表模式導出中維持訂單?

  如果您希望以列表模式以上載的順序導出數據,請使用用戶界面頂部“上傳”和“開始”按鈕旁邊的“導出”按鈕。保持出口的清單順序

  導出中的數據將以相同的順序進行,并包括原始上載中的所有確切URL,包括重復項或執行的任何修正。

  為什么授予我的Google帳戶訪問權限時出現錯誤?

  在允許SEO Spider訪問您的Google帳戶后,您應該被重定向到如下所示的屏幕:但是,如果您收到如下錯誤:您需要檢查以下幾件事:

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  您的計算機上是否運行任何安全軟件,阻止SEO Spider偵聽URL中指定的端口?該端口是localhost之后的數字:在地址欄中的上方屏幕快照中的63212。

  您的瀏覽器是否將針對本地主機的請求發送給代理?有時您可以告訴您故障屏幕是否提到代理服務器的名稱,例如Squid。

  推薦什么硬件?

  簡而言之:對于使用100-200k URL的爬網,一個64位操作系統和8GB RAM就足夠了。為了能夠抓取數百萬個URL,建議使用SSD和16gb的RAM。

  硬盤:我們強烈建議您使用SSD并將SEO Spider切換到數據庫存儲模式,以對大型網站進行爬網。

  內存:默認情況下,SEO Spider將所有爬網數據存儲在內存中,但可以將其配置為在數據庫中存儲數據以爬網更多URL。您分配的內存越多,在常規內存存儲模式和數據庫存儲模式下,您將能夠爬網的URL越多。為了能夠分配超過1gb的內存,您需要一個64位操作系統。過去五年中購買的大多數PC都將運行64位OS。因此,最重要的是確保您有足夠的可用內存。每個網站在需要多少內存方面都是唯一的,因此我們無法提供確切的數字來爬網一定數量的URL需要多少內存。作為一個非常粗略的指導,帶有8GB RAM的64位計算機通常將允許您在內存存儲模式下抓取大約200,000個URL。在數據庫存儲模式下,這應該允許您爬網大約。 500萬個網址。

  CPU:爬網的速度通常會受到網站本身的限制,而不是SEO Spider的限制,因為大多數網站都限制了它們將從單個IP接受的并發連接數。抓取成千上萬個URL時,某些操作將受到CPU的限制,例如排序和搜索,因此快速的CPU將有助于最大程度地減少這些速度下降。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  蜘蛛為什么顯示在任務欄中而不顯示在屏幕上?

  蜘蛛程序正在打開屏幕,可能是由于最近更改了多顯示器設置。要將蜘蛛移動到活動監視器上,請使用Alt + Tab選擇蜘蛛,然后按住Windows鍵并使用箭頭鍵將蜘蛛窗口移入視圖。

  SEO Spider使用什么IP地址和端口?

  SEO Spider是從安裝它的計算機上運行的,因此IP地址只是該計算機/網絡的IP地址。您可以通過在Google中鍵入“ IP地址”來找出問題所在。

  用于連接的本地端口將屬于臨時范圍。連接到的端口通常是端口80(默認的http端口)或端口443(默認的https端口)。如果要爬網的站點或其任何鏈接指定其他端口,則將連接其他端口

  為什么SEO Spider無法抓取我的網站?

  這可能有多種原因:

  首先要查看的是“內部”選項卡中的狀態代碼和狀態。該站點應以200狀態代碼和“確定”狀態進行響應。但是,如果不是這樣,請在爬網時閱讀我們的指南,了解常見的HTTP狀態代碼,它們的含義以及如何解決所有問題。

  該網站已被robots.txt阻止。內部標簽中的“狀態代碼”列將為“ 0”,URL的“狀態”列將顯示為“被Robots.txt阻止”。您可以在“配置> Robots.txt>設置”下將SEO Spider配置為忽略robots.txt。

  該站點的行為取決于User-Agent。嘗試在Configuration-> HTTP Header-> User Agent下更改User-Agent。

  該網站需要JavaScript。清除緩存后,嘗試在瀏覽器中禁用JavaScript的網站。 SEO Spider默認情況下不執行JavaScript,但是在該工具的付費版本中確實具有JavaScript渲染功能。如果網站是在JavaScript框架中構建的,或者具有動態內容,請在“配置>蜘蛛>渲染選項卡> JavaScript”下將渲染配置調整為“ JavaScript”以對其進行爬網。請記住確保JS和CSS文件不會被robots.txt阻止。請參閱有關如何抓取JavaScript網站的指南。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  該網站需要Cookies。清除緩存后,能否在瀏覽器中禁用cookie的情況下查看網站?許可的用戶可以通過轉到“配置”->“蜘蛛”并在“高級”選項卡中勾選“允許cookie”來啟用cookie。

  “ nofollow”屬性顯示在未抓取的鏈接上。在“基本”標簽下的“配置”->“蜘蛛”中有一個選項可以跟隨“ nofollow”鏈接。

  該頁面具有頁面級別的“ nofollow”屬性。可以通過HTTP標頭中的meta機器人標簽或X-Robots-Tag設置。這些可以在“ Nofollow”過濾器的“ Directives”選項卡中看到。要忽略NoFollow指令,請轉到“配置”->“蜘蛛網”->,然后勾選“關注內部'不關注'”并重新爬網。

  該網站正在使用框架集。 SEO Spider不會抓取frame src屬性。

  該網站需要一個Accept-Language標頭(在Configuration-> HTTP Header中添加標頭調用“ Accept Language”,其值為“ en-gb”)。

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  Content-Type標頭未指示該頁面是HTML。這顯示在“內容”列中,并且應該是text / html或application / xhtml + xml。 JavaScript呈現模式將另外檢查頁面內容以查看是否已指定,例如:

  為什么SEO Spider凍結?

  這通常是由于SEO Spider達到了其內存限制。請閱讀如何增加內存。

  為什么會收到“連接錯誤”響應?

  如果根本沒有收到響應,則連接錯誤或連接超時是一條消息。通常這是由于網絡問題或代理設置。請檢查您是否可以連接到互聯網。如果更改了SEO Spider代理設置(在配置下,代理),請確保這些設置正確(或已關閉)。

  為什么會收到“ 403 Forbidden”錯誤響應?

  當網絡服務器出于某種原因拒絕訪問SEO Spider的請求時,就會出現403禁止狀態代碼。

  如果這種情況持續發生,并且您可以在瀏覽器中看到該網站,則可能是Web服務器的行為取決于用戶代理。在高級版本中,嘗試在Configuration-> HTTP Header-> User Agent下調整User Agent設置。例如,嘗試以漫游器(例如“ Googlebot Regular”)或瀏覽器(例如“ Chrome”)進行爬網。

  如果在爬網期間間歇性地發生這種情況,則可能是由于Spider請求頁面的速度使服務器不堪重負。在SEO Spider的高級版本中,您可以降低請求速度。如果您使用的是“精簡版”版本,則可能會發現右鍵單擊該URL并選擇“重新蜘蛛”會有所幫助。

  為什么我在瀏覽器中遇到不同的響應?

  SEO Spider HTTP請求通常不同于傳統的瀏覽器和其他工具,因此與訪問頁面或使用其他工具檢查響應相比,有時您會遇到不同的響應。

  SEO Spider僅在服務器發出請求時報告服務器給出的響應,這雖然不正確,但可能會與其他地方有所不同。在SEO Spider中可配置的一些可能導致服務器做出不同響應的常見因素是-

Screaming Frog SEO Spider(網絡爬蟲開發工具)

  用戶代理-默認情況下,SEO Spider使用它自己的用戶代理,瀏覽器也是如此。您可以在“配置> HTTP標頭>用戶代理”下找到用戶代理配置。如果將其調整為瀏覽器用戶代理(Chrome等),則可能會遇到不同的響應。

  Cookies-默認情況下,SEO Spider不接受Cookie(類似于Google)。但是,瀏覽器可以。如果您在瀏覽器中禁用Cookie,則可能會看到該頁面不再加載,向URL發出會話ID或重定向到其自身。您可以在“配置>蜘蛛>高級”下“允許cookie”。

  JavaScript-瀏覽器將執行JavaScript,默認情況下SEO Spider不執行。因此,您可能會遇到頁面內容的細微變化,如果使用JavaScript框架構建網站,或者在瀏覽器中將其完全重定向到新位置,則差異可能會更大。與Google類似,SEO Spider可以呈現網頁,并在JavaScript發揮作用后對其進行爬網。您可以通過導航到“配置>蜘蛛>渲染”并選擇“ JavaScript渲染”來啟用此功能。與瀏覽器相比,底部的“渲染頁面”選項卡將幫助調試SEO Spider可以看到的差異。如果您的網站是使用JavaScript框架構建的,則請閱讀我們的“如何抓取JavaScript網站”指南。

  接受語言標頭-您的瀏覽器將提供您所用語言的接受語言標頭。與Googlebot類似,默認情況下,SEO Spider不為請求提供Accept-Language標頭。但是,您可以在“配置> HTTP標頭>接受語言”下調整接受語言配置。

  速度-在壓力和負載下,服務器可以做出不同的響應。他們的反應可能不太穩定。我們建議降低爬網速度,查看響應是否隨后發生變化,并使用WireShark獨立驗證響應。

下載地址

  • Screaming Frog SEO Spider(網絡爬蟲開發工具) v8.3 特別版

    本地高速下載

人氣軟件

查看所有評論>>網友評論0

發表評論

您的評論需要經過審核才能顯示

精彩評論

最新評論

蓋樓回復X

(您的評論需要經過審核才能顯示)

北京快乐8合法的吗