[クローラー]ロボット対策スレ[robots.txt]

>>10
FAQに
User-agent: grub-client
Disallow: /
で制限できるって書いてあるけど

NetCache だか CacheFlow だかのプロキシ箱がそういう UA で
先読みキャッシュしたような記憶があったようなないような。

ネイバーとmogimogiﾓﾅｰ

大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか？

フリーオを問題視してる団体と完全に構図が一緒だ

[Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Ｇｏｏｇｌｅから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/

Diskあぼーんしてもうて、バックアップしていなかったものを
archive.orgから再構築したことがあるのは秘密。
自分ですら忘れていたような3年前のデータを律儀にとっておいて
くれたことをありがたがったことも秘密。

>>27
そんな数時間に一回飛んでくるとかならまだしも。

アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

どうやって偽装するんだ？

robots.txtってルートに置かないとダメだから
自宅鯖向きの話題だと思うけどなぁ･･･

ロボットが拾っていくのは問題ないが、そのロボットの挙動が不信だったりすると
拒否したくなるんだよな。

挙動不審のロボットとは関係ないが、ia_archiverはどこかに適当に英語で消せやゴルァメールを送ると
直ちに注意することにするよ。
変わったのがわかるまで2〜3営業日かかる。
参加してくれなくて残念だ。
とかいうメールが返ってきて
しばらくするとブロックしたとかでて見ることが出来なくなる。

DDNSで今まで http://hoge.ddns.net/‾ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /‾ore でアクセスして来るんだけど、
これを拒否する方法ってある?

単純に
User-agent: *
Disallow: /‾ore
でいいの?

八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して”福祉とはかくあるべき”と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

>>11
ちゅーか、そもそもrobots.txtを読まないので、(ry

つまりそれらと同じ事を鯖側も選択自由ということですよ。
リファがあろうがなかろうが、鯖側がリファ見る仕様ならクライアントが対応すれば
いいこと。鯖側が対応する次元の話ではない。それが気に入らないクライアントは
コンテンツを見なければいいだけの事。そこで自我を通そうとする行為はまた別の
お話。

リファが情報漏洩の引き金になった話は聞いたことがないが？
それ以前にあんな糞ブラウザなんぞ使っているヤシの気が知れない。
というか、リファ認証なんかは通れなくなるのだが？
まーリファを消しているクライアントがリファをオンにすればいいだけの話だが。

＞たとえば、>>29で挙げられているロボットはアクセス先 URL と同じ URL を
＞常に Referer として送ってくる。
というか、それではリファとは言えないのだが。。。

>>35
最近のパーソナルファイヤーウォールソフトはブラウザにリファ吐かせないようにしたりするから
そのやり方だとユーザからクレームがバンバン入るぞ。

リファ吐かせないことで何を守ってるのかよくわからんけど。

yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる？
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

てす

naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。

　　　 　∧＿∧　 ∧＿∧
ﾋﾟｭ.ｰ　（　 ・３・） (　　＾＾ ） ＜これからも僕たちを応援して下さいね（＾＾）。
　　＝〔‾∪￣￣￣∪￣￣〕
　　＝ ◎――――――◎ 　　　　　　　　　　　　　　　　　　　　　山崎渉&ぼるじょあ

>>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。

robots.txt は Disallow があっても Allow がない腐れ仕様。

つーか、板違い。Web制作板へ。
この板でやるなら、HTTPレベルではなく、ロボットがやってくるIPアドレスを
ファイアウォールでdenyするぐらいの話をしてください。

>>90
その名の通りYahooのクローラ

>>47
何言ってんだよ、意味見えねーよ（ｗ

漏れ合体ロボットの方が好きだな

保守

うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる？

自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。

ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう？
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる？

Webサイトを公開しない。終了。

>>84
おおっ、この記事は読み落としていました。

二回読んで更新がなかったページの取得頻度は下げて欲しいなぁ
あんなに激しく取りに来るわりには、技術プレビューの検索結果にも出てこないし　(;´Д`)

>>88
/‾ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの？

msnbotもすごいやってきます。

ほかのロボットは一週間に一回ぐらいやってくるのですが、msnbotは一日一回は必ず来ます。
リンクがあるところは、更新されていないページも含めて全部。
CGIとか呼び出しまくりです(；´д⊂）

なるほど。勘違いをしていたようです。
親切な説明有り難うございました！
まずはURLに行って勉強し直します。

何を今更。

　　∧＿∧
　 （　・∀・）　　　　　　　　　　　　人　ｶﾞｯ
　 （　　　　つ―-‐-‐-‐-‐-‐○ < 　>__Λ∩
　 人　Y ノ.　　　　　　　　　　　 　Ｖ｀Д´）/
　 し（＿）　　　　　　　　　　　　　　　 　　/ 　←>>59

検索エンジンは別にいいんだが、厄介なのはarchive.orgだ。
いつまでも保存しておくんじゃねーよ(-_-;)

msnbotはｐ２みたいなの動かしていると凄い勢いでスレ
を舐めていくし…

アクセスログの半分以上がmsnbotなのは勘弁してくれよ。

ひとまずrobots.txtを置く、UAを見て無効なデータを返す、
ルータでフィルタする等の対策をとってみるかな？

>>114
GJ

>>7=>>1

>>32
逝って良し。
古風に表現してみるテスト

んでもリファラー見るってロボット対策の一つになるんじゃないの？

>>74
（略）だしねぇ。
その画像とはそやつが(;´Д｀)ﾊｧﾊｧしそうな画像でつか？
毎回同じ画像でつか？

そこらへんが分からんと（ry

/aaa以外のディレクトリはどうしたいの?

＞非ブラウザではヒット数１位となる日も

なぁ、この書き方だとその他1%のトップの場合もあり得るわけだ。

>>45
試してからカキコしろよ。

そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

そうか

あ