2008-08-19
竟然這麼快就說上次的 iptables rule 太絕了？那些規則用了不到三天就不用了！何解？
- 餿狗實在太自私兼聰明了，發覺一段短時間沒有 traffic，它就會自行中斷連線；拖字訣對它完全無效。相反地，百度反而有用，一直都是等很多分鐘才 timeout。
- 近來開始做一些網站統計分析，但這些賤種搜尋引擎對於 traffic 的統計百害而無一利，所以要想個辦法將它永遠趕走，淨是 timeout 還是不太夠。
第二個階段，嘗試讓它們自家打自家：用 Apache 的 RewriteRule，將百度的 request redirect 去餿狗，再將餿狗的 request 丢到百度去，因為它們互為天敵，所以看到我煽風點火，理應不再管我才是。結果我猜錯了，還是陸續有來，餿狗最高每 3-5 秒一次，百度最高速度也有 3-5 分鐘，而且仍是拼命找我禁止 index 的地方。
最後按捺不住了，出最後的殺手鐧，找專人侍候它們。
iptables -t nat -A PREROUTING -j DNAT -p tcp -s 220.181.0.0/16 --dport 80 --to-destination :81
這些搜尋引擎絕對值得我另開渠道去服侍。服侍它們的僕人來頭可不少：/dev/urandom 
當然，一開始就給它們下馬威不是太禮貎，怕太快會嚇怕它們。所以提供一個正常的 HTTP header 作為甜頭是必須的：
#!/bin/sh
sleep 5
cat << _EOF_
HTTP/1.1 200 OK
Date: `date +"%a, %d %b %Y %H:%M:%S HKT"`
Server: Apache/2.0
Transfer-Encoding: chunked
Content-Type: text/html
_EOF_
exec cat < /dev/urandom
結果？餿狗好像不是太喜歡我的待客態度！現在連踪影都沒了，真是有點懷念餿狗的日子啊！至少不會那麼無聊。現在要應付的可麻煩多了，因為近來發覺有不少都是扮假狗，模彷 IE 的 user agent 的，雖然有些仍然找到別的蛛絲馬跡。例如有一個雖然是扮 IE，但是使用 HTTP/1.0，而且快速存取大量全無關係的頁面的。
2008-08-11
反正是睡不着，所以快手地寫了個甚為簡單的 WordPress plugin，是在有密碼保護的文章中加上密碼提示的。之前嘗試貼出有密碼保護的文章時，要在另一個 post 給予提示，頗為不方便。這個 plugin 已經想做很久了，但一直沒有下定決心，趁這點點空閒寫了出來，放了在自己的站上。有興趣的可以看看，很易用的，不需要甚麼設定。
2008-08-07
這一兩星期經常看到 Apache log 中出現和 remote file inclusion 有關的「攻擊」，一時好奇，抓其中一個檔案來看一看，赫然發現並不是盲目直接攻擊，反而像大量搜集伺服器資料。拿其中一個看到的檔案為例：
Read the rest of content »
2008-08-05
很久沒看 Slashdot 了，稍為瀏覽一下就找到有趣的事：原來 AVG antivirus 會假扮 IE 6 來掃描網站。乍看好像沒甚麼問題，但致命的地方在於它做法粗暴，造成不少人反感，像某些大陸 search engine 一樣。
Read the rest of content »
2008-08-02
太惡劣了，搜狗完全無視任何 robots.txt，但它的條款中竟然蓄意欺騙人，說它會支援 robots.txt：
sogou spider 支持 robots 协议，您可以在网站的根目录放置 robots.txt。
robots.txt 的规则请参阅 http://www.robotstxt.org/。
但是新更新的 robots.txt 可能得过几个星期才能体现出效果来。
我的 robots.txt 中禁止搜尋和 indexing 的部份已經有一年半未動過了。之前已經封禁過一次的了，那次不記得是甚麼 robot，瘋狂地下載，連帶網站被 DoS 了。但最近忽然發現搜狗又很頻密地 index 我的禁地。雖然不如有些人所說每秒一次那麼令人髪指，但也好不到那裏去，這些情況很多人都投訴過。對於這些流氓搜尋引擎，我也不是甚麼善男信女：
Rewritecond %{HTTP_USER_AGENT} "^Sogou"
RewriteRule .* http://www.sogou.com/ [L,R=301]
一招還嫌不夠，再來另一招必殺技：
iptables -A INPUT -m limit -p tcp --tcp-flags SYN,RST,ACK,FIN ACK -s 220.181.0.0/16 --dport 80 --limit 3/minute --limit-burst 1
iptables -A INPUT -j DROP -p tcp -s 220.181.0.0/16 --dport 80
不是單純的 DROP，我是有心玩的。還有，似乎搜狗會動用多個 IP 做 robot，一個個 IP 來 block 不及圍骰通殺來得痛快。況且百度也是用同一段 IP 的，就讓百度和搜狗自行決定每分鐘三個 packet 怎樣分配吧。
2008-07-25
有一個很重要的因素令 mobile blogging 可以成為痛苦的體驗，那就是輸入法的好壞。沒有當地人習慣的輸入法，或者輸入法介面不方便，不單令人不會花時間去 moblog，連 SMS 都會減少使用，成為失敗之作。我也正在電話上嘗試有多(不)方便，幸好現在的電話同時有倉頡和手寫，縱使倉頡鍵盤用起來不太方便，還有手寫可以搭救，中文認字率也頗高(英文則不行了)，感覺尚可接受。
當然還有另一個同樣重要的因素：寫 blog 的程式的優劣。一方面要清簡，另一方面又要功能不太缺乏；像我現在測試用的 freeware 就不太好了，只能說勉強合格。設定比較容易，但沒有 cut and paste，要加鏈結或圖片要整個網址慢慢按，令到文章加甚麼東西都要慘兮兮的。似乎任何 offline 的 blogging 程式都只適合用來寫 draft。剛才還想在程式裏加 link 的，結果始終要靠瀏覽器幫手。
2008-07-14
以下是不知多久前積累下來的 blog spam 統計，和上次一樣，只看 user agent:
Read the rest of content »
RSS