[クローラー]ロボット対策スレ[robots.txt]

1 :DNS未登録さん:03/03/11 21:40 ID:PN8pCDZB.net
検索エンジンに登録されたくない、ロボット、巡回ソフトうざいという方まで
クローラー、スパイダー対策について語りましょう。

参考
http://c-moon.jp/robots.shtml
有名らしい
ttp://www.daj.co.jp/filter/index.htm

11 :DNS未登録さん:03/03/11 23:07 ID:???.net

>>10
FAQに
User-agent: grub-client
Disallow: /
で制限できるって書いてあるけど

79 :DNS未登録さん:03/08/11 00:52 ID:???.net

NetCache だか CacheFlow だかのプロキシ箱がそういう UA で
先読みキャッシュしたような記憶があったようなないような。

31 :DNS未登録さん:03/03/12 13:21 ID:???.net

ネイバーとmogimogiモナー

111 :DNS未登録さん:2008/10/05(日) 00:15:29 ID:???.net

大体RFC化もされていない「紳士協定」に対して
目くじら立てるやつっておかしいと思わないか?

フリーオを問題視してる団体と完全に構図が一緒だ

104 :定期age:05/02/03 12:39:25 ID:???.net

[Google,Yahoo!等]■ロボット型検索エンジン21■
http://pc5.2ch.net/test/read.cgi/hp/1106491459/
【Google】ページランクいくつよ6【PageRank】
http://pc5.2ch.net/test/read.cgi/hp/1092914063/
Googleから削除されました
http://pc5.2ch.net/test/read.cgi/hp/1081663521/
[Google,Yahoo!等]■ロボット型検索エンジン20■
http://pc5.2ch.net/test/read.cgi/hp/1106491335/
【Robots】Googleアーカイブが嫌い【NoArchive】
http://pc5.2ch.net/test/read.cgi/hp/1026114886/

16 :DNS未登録さん:03/03/12 00:06 ID:???.net

Diskあぼーんしてもうて、バックアップしていなかったものを
archive.orgから再構築したことがあるのは秘密。
自分ですら忘れていたような3年前のデータを律儀にとっておいて
くれたことをありがたがったことも秘密。

28 :DNS未登録さん:03/03/12 13:04 ID:???.net

>>27
そんな数時間に一回飛んでくるとかならまだしも。

119 :DNS未登録さん:2010/11/01(月) 13:26:41 ID:???.net

アクセスログを見ると、グーグルさんはちゃんとrobots.txtを見てくれてる

124 :DNS未登録さん:2011/02/01(火) 20:30:40 ID:???.net

どうやって偽装するんだ?

25 :DNS未登録さん:03/03/12 11:45 ID:???.net

robots.txtってルートに置かないとダメだから
自宅鯖向きの話題だと思うけどなぁ・・・

72 :DNS未登録さん:03/07/30 04:18 ID:???.net

ロボットが拾っていくのは問題ないが、そのロボットの挙動が不信だったりすると
拒否したくなるんだよな。

挙動不審のロボットとは関係ないが、ia_archiverはどこかに適当に英語で消せやゴルァメールを送ると
直ちに注意することにするよ。
変わったのがわかるまで2〜3営業日かかる。
参加してくれなくて残念だ。
とかいうメールが返ってきて
しばらくするとブロックしたとかでて見ることが出来なくなる。

88 :DNS未登録さん:04/10/09 12:47:01 ID:???.net

DDNSで今まで http://hoge.ddns.net/‾ore/ としてたのを
バーチャルホスト http://hoge.ddns.net/ で見られるようにしたんだが、
相変わらずbotは /‾ore でアクセスして来るんだけど、
これを拒否する方法ってある?

単純に
User-agent: *
Disallow: /‾ore
でいいの?

131 :DNS未登録さん:2012/02/20(月) 20:02:21.28 ID:???.net

八巻正治さんについて思うこと。
いつもは宗教心あふれる教師面して”福祉とはかくあるべき”と講釈たれてるのに、
自分の気に食わないことを言われると個人的な感情全開にして、己の懐の狭さが露見するよね。

八巻正治さんは、他人には潔さを求めるのに、自身の発言には一切の責任を取らない。
これ程まで薄っぺらい人間を、他には知らない。
ニューポート大学大学院博士だけのことはあるね。

14 :DNS未登録さん:03/03/11 23:23 ID:???.net

>>11
ちゅーか、そもそもrobots.txtを読まないので、(ry

40 :DNS未登録さん:03/03/13 21:37 ID:???.net

つまりそれらと同じ事を鯖側も選択自由ということですよ。
リファがあろうがなかろうが、鯖側がリファ見る仕様ならクライアントが対応すれば
いいこと。鯖側が対応する次元の話ではない。それが気に入らないクライアントは
コンテンツを見なければいいだけの事。そこで自我を通そうとする行為はまた別の
お話。

リファが情報漏洩の引き金になった話は聞いたことがないが?
それ以前にあんな糞ブラウザなんぞ使っているヤシの気が知れない。
というか、リファ認証なんかは通れなくなるのだが?
まーリファを消しているクライアントがリファをオンにすればいいだけの話だが。

>たとえば、>>29で挙げられているロボットはアクセス先 URL と同じ URL を
>常に Referer として送ってくる。
というか、それではリファとは言えないのだが。。。

36 :DNS未登録さん:03/03/13 19:07 ID:???.net

>>35
最近のパーソナルファイヤーウォールソフトはブラウザにリファ吐かせないようにしたりするから
そのやり方だとユーザからクレームがバンバン入るぞ。

リファ吐かせないことで何を守ってるのかよくわからんけど。

128 :DNS未登録さん:2011/12/20(火) 14:10:31.57 ID:???.net

yahooの検索結果に表示されては困る、でもgoogleやその他にはむしろガンガン表示して欲しいんだが、
そんな指定metaタグでできる?
無理ならブラウザ拡張のアドオンでもいいんだが。
教えてください。

118 :DNS未登録さん:2010/09/28(火) 02:34:40 ID:???.net

お行儀が良いクローラならね。
見る義務は無いし、見ても記述内容に従う義務は無い。

95 :DNS未登録さん:04/11/09 21:14:32 ID:???.net

てす

112 :DNS未登録さん:2008/11/08(土) 08:10:01 ID:oHYIhwg4.net

naver の Yeti というのは、naver しか使ってないのか ?
それなら、USER_AGENT で Yeti を丸ごと弾いてしまおうと思うが。

73 :ぼるじょあ ◆ySd1dMH5Gk :03/08/02 05:00 ID:???.net

     ∧_∧  ∧_∧
ピュ.ー (  ・3・) (  ^^ ) <これからも僕たちを応援して下さいね(^^)。
  =〔‾∪ ̄ ̄ ̄∪ ̄ ̄〕
  = ◎――――――◎                      山崎渉&ぼるじょあ

98 :96:04/11/13 16:16:27 ID:???.net

>>97
うーん、普通にいろんな日々の話題を扱ったブログを公開している程度で、
目を付けられるような動きじゃないはずなんですが…。
もしかしたら、IPアドレスの逆引きがISPのドメイン名になっている事が
まずいのかも知れないと思い、逆引き設定してくれるISPに引越し予定です。

22 :DNS未登録さん:03/03/12 10:45 ID:???.net

robots.txt は Disallow があっても Allow がない腐れ仕様。

つーか、板違い。Web制作板へ。
この板でやるなら、HTTPレベルではなく、ロボットがやってくるIPアドレスを
ファイアウォールでdenyするぐらいの話をしてください。

91 :DNS未登録さん:04/10/27 20:22:38 ID:???.net

>>90
その名の通りYahooのクローラ

48 :DNS未登録さん:03/03/15 22:14 ID:???.net

>>47
何言ってんだよ、意味見えねーよ(w

49 :DNS未登録さん:03/03/16 15:55 ID:???.net

漏れ合体ロボットの方が好きだな

105 :DNS未登録さん:2005/10/24(月) 12:48:08 ID:???.net

保守

99 :DNS未登録さん:04/11/16 02:38:13 ID:???.net

うち、逆引きはプロバのドメイン名だけど、普通に登録されてるよ。

自分で検索してみて出てくる?

100 :96:04/11/17 00:58:01 ID:???.net

自分で検索しても出てこんのです。(T_T)

そっか、逆引き不一致でも問題ないのかなぁ。とすると、原因は別のところか。
原因を探ってみます。
情報感謝です。

96 :DNS未登録さん:04/11/12 01:30:00 ID:Nh8fSwvV.net

ロボットは来ているのだが、Googleで検索して飛んでくる人が
最近とんと減ってしまった。なんでだろう?
YahooやMSNからの検索はそこそこ定常的にあるのに。
Googleからのもゼロって訳じゃないんだけどね。

うちのように小さなサイトは検索エンジンからのアクセスが
大切なアクセス源なのに。

原因がわかる人いる?

5 :DNS未登録さん:03/03/11 22:47 ID:???.net

Webサイトを公開しない。終了。

85 :83:04/07/11 21:24 ID:???.net

>>84
おおっ、この記事は読み落としていました。

二回読んで更新がなかったページの取得頻度は下げて欲しいなぁ
あんなに激しく取りに来るわりには、技術プレビューの検索結果にも出てこないし (;´Д`)

89 :DNS未登録さん:04/10/10 21:35:30 ID:???.net

>>88
/‾ore/でアクセスしてきた時に404を返してやれば、そのうち来なくなるんじゃないの?

83 :DNS未登録さん:04/07/11 20:25 ID:???.net

msnbotもすごいやってきます。

ほかのロボットは一週間に一回ぐらいやってくるのですが、msnbotは一日一回は必ず来ます。
リンクがあるところは、更新されていないページも含めて全部。
CGIとか呼び出しまくりです(;´д⊂)

66 :DNS未登録さん:03/06/03 18:30 ID:???.net

なるほど。勘違いをしていたようです。
親切な説明有り難うございました!
まずはURLに行って勉強し直します。

69 :(゚з゚):03/06/07 09:13 ID:???.net

何を今更。

132 :電脳プリオン 忍法帖【Lv=40,xxxPT】(1+0:8) 【21.4m】 :2013/08/31(土) NY:AN:NY.AN ID:???.net ?PLT(12080)

  ∧_∧
  ( ・∀・)            人 ガッ
  (    つ―-‐-‐-‐-‐-‐○ <  >__Λ∩
  人 Y ノ.             V`Д´)/
  し(_)                  /  ←>>59

15 :DNS未登録さん:03/03/11 23:34 ID:???.net

検索エンジンは別にいいんだが、厄介なのはarchive.orgだ。
いつまでも保存しておくんじゃねーよ(-_-;)

86 :DNS未登録さん:04/09/04 01:14 ID:???.net

msnbotはp2みたいなの動かしていると凄い勢いでスレ
を舐めていくし…

アクセスログの半分以上がmsnbotなのは勘弁してくれよ。

ひとまずrobots.txtを置く、UAを見て無効なデータを返す、
ルータでフィルタする等の対策をとってみるかな?

115 :DNS未登録さん:2009/08/24(月) 14:55:42 ID:???.net

>>114
GJ

9 :DNS未登録さん:03/03/11 23:01 ID:???.net

33 :DNS未登録さん:03/03/13 14:57 ID:???.net

>>32
逝って良し。
古風に表現してみるテスト

41 :DNS未登録さん:03/03/13 21:43 ID:???.net

んでもリファラー見るってロボット対策の一つになるんじゃないの?

75 :DNS未登録さん:03/08/09 22:45 ID:???.net

>>74
(略)だしねぇ。
その画像とはそやつが(;´Д`)ハァハァしそうな画像でつか?
毎回同じ画像でつか?

そこらへんが分からんと(ry

63 :DNS未登録さん:03/06/03 17:27 ID:???.net

/aaa以外のディレクトリはどうしたいの?

30 :DNS未登録さん:03/03/12 13:20 ID:???.net

>非ブラウザではヒット数1位となる日も

なぁ、この書き方だとその他1%のトップの場合もあり得るわけだ。

46 :DNS未登録さん:03/03/15 18:46 ID:???.net

>>45
試してからカキコしろよ。

130 :DNS未登録さん:2011/12/20(火) 17:10:58.19 ID:???.net

そこが問題なんだよなー。
なんかいい方法ないかな。
アドオン探してもgoogleのは見つかるが、yahooで検索結果から除外できるようなアドオンは無いみたいだし。

94 :DNS未登録さん:04/11/04 18:53:48 ID:KyJO56Ns.net

そうか

107 :DNS未登録さん:2006/06/02(金) 00:20:19 ID:/2RXfUmf.net

参考になったらSNSでシェアお願いします!

レスを投稿する(名前省略可)

この記事を読んだ方へのおすすめ

  • 【linux】おまいらの使っているディストリ【unix】

    元スレ 1 :もえたそ ◆jM68MB.ATI :03/02/22 20:52 ID:3cMy/MYB.net おまいらディストリ何使ってる? 67 :DNS未登録さん:03/04/25 00:38 ID:???.ne…

  • イイダシステムってどうよ

    元スレ 1 :DNS未登録さん:04/03/20 06:53 ID:???.net 飯田君について語ろうではないか http://www.iidasys.net/ 163 :DNS未登録さん:04/05/04 20:35…

  • 【旧FreeNAS】 OpenMediaVault Part1 【Linux】

    元スレ 1 :DNS未登録さん:2010/02/21(日) 14:37:11 ID:wWfL4R2S.net あのFreeNASがLinux対応に進化 http://blog.openmediavault.org/ みん…

  • どうしても自宅でsendmail

    元スレ 1 :send:04/02/12 18:18 ID:Vyhi5XQ4.net sendmailやめとけー! とか言われそうですが、これほどメジャーな メールサーバソフトのスレが無いので立てますよん。 私は自宅で無…

  • Qmail 最強!

    元スレ 1 :DNS未登録さん:2007/05/10(木) 23:27:40 ID:fEhqGEyv.net sendmail とか postfix の糞ソフトのスレはあるのに、何でQmailがないの?変態なの? 57 …

  • 貴方のHDDは今何℃

    元スレ 1 :カルロスリヴェラ:03/05/06 15:47 ID:9DPbIm5r.net 自鯖用途なマシンであろうとれっきとしたサーバーマッスィーンでアール。 当然、鯖缶各位におかれては鯖機内全てのHDDの温度管理…

  • ルータを使うのをやめてみた人のスレ

    元スレ 1 :1 ◆ExGQrDul2E :03/10/27 07:45 ID:???.net ルータの設定で80番ポートを空けても結局Webサーバが外部に公開できず、 プロバイダA&Bフレッツ 自宅サーバ用 プ…

  • 【頂上】Win鯖 VS Linux鯖【対決】

    元スレ 1 :1:03/02/02 15:31 ID:RX6pmuTz.net Win派もリヌ派もそれぞれの長所短所はわかってると思います。 詰まらん煽り合いにならない方向で、と願ってやみません。 自分は対外用リヌ、内部…

  • 【才能】殿下鯖ってどうよ?Part6【点火】

    元スレ 1 :殿下 ◆pG13CSNrEU :05/01/10 17:42:48 ID:???.net 殿下鯖に関するスレッドです。 【殿下公式HP】 http://denka3.com/ 【旧レン鯖】 http://w…

  • SPAMメール対策どうしてる?

    元スレ 1 :.:04/04/29 13:14 ID:???.net 海外から多くの広告らしきものが来るし、 こちらのメールサーバを使って、でたらめのアドレスに送ってい形跡もある・・・。 135 :DNS未登録さん:20…

  • ルーターでグローバルIPを使う方法

    元スレ 1 :DNS未登録さん:03/04/19 01:37 ID:lLlJpwQK.net ルーターでグローバルIPを使う方法はあるのでしょうか? 現在はNTTのBフレッツです。 ルーターはプラネットのBRL-04FB…

  • WindowsXP HomeEditionでサーバー

    元スレ 1 :DNS未登録さん:03/10/13 12:16 ID:???.net WinXP HomeEdition でサーバー構築を目指すひとあつまってくらさい っていうかIIS使えないし、ドメイン参加とかできないし…

最近のコメント

匿名 : 【いちゃ部屋】株式会社SHIFT【5ch出張所】
 新入社員はわかいそう、 在宅勤務でe-ラニングうけとけ、 ... (6/18)
匿名 : 【残業代】福井 株式会社アスタ【未払い】
 プライド高いところあるけど清輝あるなら大丈夫や (5/28)
匿名 : 【残業代】福井 株式会社アスタ【未払い】
 プライド高いところあるけど清輝あるなら大丈夫か (5/07)
ページTOPへ↑