<span id="pfnzv"></span>
      <form id="pfnzv"><span id="pfnzv"></span></form><address id="pfnzv"><span id="pfnzv"><nobr id="pfnzv"></nobr></span></address>
      <form id="pfnzv"><dfn id="pfnzv"><listing id="pfnzv"></listing></dfn></form>

        <sub id="pfnzv"><address id="pfnzv"></address></sub>
          <address id="pfnzv"><form id="pfnzv"><listing id="pfnzv"></listing></form></address>
          <address id="pfnzv"><address id="pfnzv"><nobr id="pfnzv"></nobr></address></address>

            <address id="pfnzv"></address>
            0712-2888027 189-8648-0214
            微信公眾號

            孝感風信網絡科技有限公司微信公眾號

            當前位置:主頁 > 技術支持 > PHP > 記錄搜索引擎的爬蟲發現SAE有提供計數器服務

            記錄搜索引擎的爬蟲發現SAE有提供計數器服務

            時間:2024-08-25來源:風信官網 點擊: 838次
            當初小米樂園初搭建的時候發現SAE有提供計數器服務,于是就搞一個放在主題文件的footer.php里,這樣每當footer被加載的時候就累計數+1。這一弄就發現了問題,因為小米樂園網站的訪問量很小,主要是自己在寫自己在看,但是呢發現計數器跑得飛快,一個晚上可以增加幾百個數。

            而實際上用第三方網站統計,一天也就幾個IP,PV撐死也就幾十而已。這一年多以來,PV總數也只有一萬多,而計數器已經跑到七萬多了。我知道這些都是搜索引擎爬蟲的功勞。但還是很好奇計數器每個數字后面的八卦料。于是自己動手,豐衣足食。在MySql里新建一個表“IPlog”來記錄IP,表有五個字段,`IP` , `Count` , `time` ,`HTTP_USER_AGENT`,`HTTP_REFERER`,`REQUEST_URI`,分別用來保存訪問者的IP,計數器的數字,訪問時間和訪問來路及訪問的頁面地址。然后在footer.php里計數器的地方把代碼放上去,這樣就可以記錄這些資料。

            下面這段代碼是SAE專用,并且在SAE上有個計數器名稱為“Count_sum”,在正常的PHP服務器上要修改一下才能用。

            <?php
            function CountLog() //自定義函數,用于記錄訪問者的IP到數據庫 by cailman 2012.11.13
            {
             
            $mysql = new SaeMysql();
            $fwIP = strip_tags( $_SERVER['REMOTE_ADDR'] );
            $c = new SaeCounter();
            $c-&gt;incr('Count_sum');
            $fws = $c-&gt;get('Count_sum');
            $sql = "INSERT  INTO `IPlog` ( `IP` , `Count` , `time` ,`HTTP_USER_AGENT`,`HTTP_REFERER`,`REQUEST_URI` ) VALUES ( '"  . $mysql-&gt;escape( $fwIP ) . "' , '" . intval( $fws ) . "' , NOW(), '"  . $mysql-&gt;escape( $_SERVER['HTTP_USER_AGENT'] ) . "', '"  . $mysql-&gt;escape( $_SERVER['HTTP_REFERER'] ) . "', '"  . $mysql-&gt;escape( $_SERVER['REQUEST_URI'] ) . "') ";
             
            $mysql-&gt;runSql( $sql );
            if( $mysql-&gt;errno() != 0 )
            {
            die( "Error:" . $mysql-&gt;errmsg() );
            }
            $mysql-&gt;closeDb();
             
            }
             
            CountLog();
             
            ?>

            第二天看了一下數據庫,從前一天的18點到第二天的12點,18個小時,共有大概200條記錄。其中大部分是各類蛛蛛爬蟲bot。分布比較均勻,每個小時都是10~20次左右的記錄。

            一般來說訪問者的USER_AGENT會留下自己的對應信息,例如操作系統,語言,瀏覽器版本等等。各種爬蟲一般都會主動留下正確的信息。于是發現這個字段的開頭幾乎全都是“Mozilla/4.0”或“Mozilla/5.0”,不管是爬蟲還是正常訪問者。上網搜了一下才發現這個原來是當年微軟IE和網景瀏覽器留下來的遺跡,后來的所有瀏覽器和爬蟲都神奇地采用這種USER_AGENT,題外話不說了。

            粗例分析了一下,說說爬蟲的一些八卦吧。

            這一晚捉到的爬蟲覆蓋了幾大有名的搜過引擎,其中最勤快的是google和soso。
            Googlebot、Mediapartners-Google(這是專門用來爬有google adsense頁面的)累計45次,Sosospider來了31次,還有一個好像是不良爬蟲的訪客,共訪問41次。這仨就點了共訪問數的六成了。

            還有些比較有趣的東西,這些爬蟲一般都會表明身份,并留下網址,好讓你去了解它的規則。
            下面是各個爬蟲留下的名片:

                Sogou web spider http://www.sogou.com/docs/help/webmasters.htm#07
                Googlebot http://www.google.com/bot.html
                Baiduspider http://www.baidu.com/search/spider.html
                Sosospider http://help.soso.com/webspider.htm
                bingbot http://www.bing.com/bingbot.htm
                YodaoBot http://www.yodao.com/help/webmaster/spider/
                YRSpider http://www.yunrang.com/yrspider.html
                YandexBot http://yandex.com/bots

            還有些爬蟲只留下名字,沒留下地址的:

                360Spider
                Yahoo! Slurp China

            還有些名字即是身份和地址的:

                Xianguo.com 1 Subscribers

            剛才說有個貌似不良爬蟲,它留下的USER_AGENT是“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2; .NET CLR 2.0.50727)”,表明它是用NT5.1系統和IE6瀏覽器(這個狠)的主,其它的不大明白是什么,IP比較固定就2個:60.28.113.193、60.28.113.196,根據網上的說法,這貨老是抓Feed,而且德性很不好,看來后續可以把一些爬蟲拉黑節省點服務器資源。

            總的來說,最勤快的是Google爬蟲,而且唯一有偽裝成手機瀏覽器爬網的也是google(因為不久前裝了個移動主題,手機訪問小米樂園的話,會啟動手機專用的移動主題,在記錄的時候我讓它有個特殊的標志,可以知道是從移動主題的footer.php記錄的),它的USER_AGENT是“Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)”說明它是一只化裝成IPhone的Google爬蟲,真是敬業啊。

            這里面還有兩個搜索爬蟲比較小眾。
            YRSpider http://www.yunrang.com/yrspider.html
            這是國產的云壤公司的爬蟲,不知道它在收集些什么東西。

            YandexBot http://yandex.com/bots
            這個應該外國的一個搜索引擎,打開看了一下,一個體驗不是很好的搜索引擎。

            看來后續可以繼續觀察,把一些不良IP拉黑,這樣才環保一點,呵呵。

            后來一時興起,搜了一下更改USER_AGENT,做為一個訪問者,你的瀏覽器的USER_AGENT是可以隨便自己定義的,例如我把瀏覽器的USER_AGENT改成"Mozilla/5.0 (www.miyue.me)",這樣訪問任何一個網站,都會在對方的日志里(如果有)留下我的網址,具體方法各個瀏覽不一樣,在網上可以直接搜到,就不轉了。這種除了調試外,基本上是屬于深夜拋媚眼的Geek玩法,哈哈。
            熱門關鍵詞: 搜索引擎 爬蟲 SAE 計數器服務
            欄目列表
            推薦內容
            熱點內容
            展開
            国产精久久久久无码AV动漫|最新亚洲精品国偷自产在线|2021亚洲色中文字幕在线|最新无码av中文字专区 情欲美妇紧致敏感 国产免费AⅤ片在线播放 人妻爽爽免费在线视频 51精品国产人成在线观看 色偷偷av一区二区三区
            <span id="pfnzv"></span>
                <form id="pfnzv"><span id="pfnzv"></span></form><address id="pfnzv"><span id="pfnzv"><nobr id="pfnzv"></nobr></span></address>
                <form id="pfnzv"><dfn id="pfnzv"><listing id="pfnzv"></listing></dfn></form>

                  <sub id="pfnzv"><address id="pfnzv"></address></sub>
                    <address id="pfnzv"><form id="pfnzv"><listing id="pfnzv"></listing></form></address>
                    <address id="pfnzv"><address id="pfnzv"><nobr id="pfnzv"></nobr></address></address>

                      <address id="pfnzv"></address>