元スレ
1 :名無しさん@お腹いっぱい。:2015/03/26(木) 23:24:16.96 ID:YucLrJ+j0.net
htmltodatByFiddler
要.NET Framework (webスクレイピング)
ttp://mukiyu.g.ribbon.to/ 【v1.05 v2.02 (v2系は差分取得対応)】
ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
(要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
ttp://www.telerik.com/download/fiddler
559 :名無しさん@お腹いっぱい。:2018/03/10(土) 08:01:17.85 ID:4PiwBrr60.net
>>555
アホだな
Fiddlerで2ch使ってる人の多くはスクレイピングはhtmlアクセスで
合法だからこそFiddler使ってきた意識の高い人たち。
スクレイピングは汎用ブラウザと同じ方法でアクセスするから法律に抵触しない
htmlアクセスを防ぎたいなら通常ブラウザからのアクセスを禁止すればいい
規約作った奴は確実に馬鹿だ
お手紙がくるとかいってるのは汎用ブラウザの広告ブロッカー使ったら
手紙がくるといってるレベルのバカ発言だぞ
482 :名無しさん@お腹いっぱい。:2017/10/03(火) 10:38:58.60 ID:kuAxdq8f0.net
>>481
そっちか…読み込み問題ないからそこは弄ってなかったわ
ついでに5chに変換したfavorite.datも2chに戻して、やっと読み書きお気に入りリンク全部落ち着いて以前の状況に戻った
415 :名無しさん@お腹いっぱい。:2017/05/05(金) 12:17:05.84 ID:6lVOYCk90.net
>>366の修正をしてくれないから毎回手間がかかる
193 :名無しさん@お腹いっぱい。:2015/09/12(土) 01:49:13.46 ID:ap2LATDX0.net
Fiddler Extension導入しました
作ってくれた人ありがとう
246 : 【BE: Lv=10,xxTP】:2015/12/08(火) 13:58:31.67 ID:wfV1OOwS0.net
元々、余分な部分を除去しながら成形してるから、正規表現に
マッチしないとゴミが残るんだよね。
必要な部分を正規表現で抽出して成形する形だったら、今回の
ようなread.cgiの仕様変更にも影響されないのに。
239 :名無しさん@お腹いっぱい。:2015/12/07(月) 19:30:05.06 ID:U6XG1FpL0.net
163 :名無しさん@お腹いっぱい。:2015/06/12(金) 05:45:49.83 ID:yP59LKXy0.net
364 :名無しさん@お腹いっぱい。:2017/04/23(日) 15:24:21.11 ID:k+PYar1Z0.net
67 :名無しさん@お腹いっぱい。:2015/04/02(木) 14:15:42.12 ID:QvE7TLBW0.net
>>66>>2
>*Fildderの設定で、オプションの Act as system proxy on startup のチェック外さないと
> 2chブラウザ以外もプロキシ通るようになっちゃうからそれだけ外せばおk
85 :名無しさん@お腹いっぱい。:2015/04/05(日) 16:49:33.36 ID:MkIcsgYu0.net
wikiのTipsにsession保持しない設定のCustomRules.js載せといた
20〜25MB程度だからそんな変わらないかも
319 :名無しさん@お腹いっぱい。:2017/03/07(火) 14:51:24.20 ID:2+hvvhS50.net
>>318
そうなんですか!初めてだったのでオロオロしてここ来てみた(´・ω・`)
常駐チェッカーというのを探してみます!
ありがとうございまさいた
152 :名無しさん@お腹いっぱい。:2015/04/20(月) 23:19:48.11 ID:HmfzPbiO0.net
APIモードでもセッション非表示にできるようにならんかね
HTMLモードがド安定であまりAPIモード使わないとは思うけど
360 :名無しさん@お腹いっぱい。:2017/04/23(日) 13:34:20.07 ID:mGPxnqWr0.net
36 :名無しさん@お腹いっぱい。:2015/03/29(日) 22:13:28.09 ID:RVr0TYyy0.net
専ブラで書き込み反映されてなくて再度書いたら二重書き込みになってしまったすまん
71 :名無しさん@お腹いっぱい。:2015/04/02(木) 18:20:04.40 ID:JqQ3GEYH0.net
>>2
>4、Xenoのプロキシ設定を127.0.0.1:8888に設定
正しくは127.0.0.1:8888
レス数が一桁のスレに書き込みしようとするとエラーになるんですが他の方どうですか?
485 :名無しさん@お腹いっぱい。:2017/10/03(火) 14:26:39.24 ID:27V6NpDn0.net
>>468
ここのコメントアウトは解除必須だし初めから解除したほうがいいよね
なんでコメントアウトしてあるんだろ
236 :名無しさん@お腹いっぱい。:2015/12/07(月) 01:21:35.35 ID:6rH146lJ0.net
Webブラウザで全レスを見られるようになってる
cloudflare側が何か変わったのかもしれない
172 :名無しさん@お腹いっぱい。:2015/06/15(月) 21:03:05.26 ID:evwsB/Dg0.net
>>165
dllは認識されているけど2chプロキシタブが出ないよ
Tools,Fiddler Options,Extensionsで確認
Fiddlerが古いからかな
v4.5.0.0
90 :名無しさん@お腹いっぱい。:2015/04/11(土) 15:58:09.17 ID:l0nqF+HF0.net
>>89
専用のほうがいいというのは同意。
Fiddlerは汎用串だからどうしてもメモリ消費量は多くなるし、
導入もめんどくさくなる。
446 :名無しさん@お腹いっぱい。:2017/10/02(月) 15:33:31.86 ID:ZnPSTGwY0.net
199 : 【BE: Lv=10,xxTP】(1+0:8):2015/11/15(日) 08:38:20.62 ID:JtqhdkIt0.net
>>198
一応、htmltodatByFiddler 2.03が出たけど、一部バグってるので、
作者さんに指摘しておいたは。
263 :名無しさん@お腹いっぱい。:2015/12/11(金) 23:14:05.05 ID:JzGl4PEx0.net
217 :名無しさん@お腹いっぱい。:2015/12/02(水) 22:49:12.13 ID:0gOJI6ub0.net
456 :名無しさん@お腹いっぱい。:2017/10/02(月) 20:49:38.90 ID:7U9Dr8YT0.net
553 :名無しさん@お腹いっぱい。:2018/03/09(金) 21:29:02.88 ID:fR1Ds25G0.net
>>549
あなたのいう「騒動」とはなにかがわからない。
108 : 【BE: Lv=10,xxTP】(1+0:8):2015/04/16(木) 10:28:40.36 ID:Vc6j+ZM20.net
>>107
やっぱ、HTMLモードだけじゃねぇ。
でも、APIモードでも500エラーが出るから気を付けてね。
244 :名無しさん@お腹いっぱい。:2015/12/08(火) 08:28:03.90 ID:+CEm77S30.net
231 :名無しさん@お腹いっぱい。:2015/12/05(土) 13:25:56.13 ID:JImwXLqx0.net
182 :Fiddler2chExtension ◆7nuuPIs6jA :2015/06/19(金) 20:42:52.44 ID:BKtBUvqk0.net
>>180
ほほー。
レジストリにUserPathを作れば、マイドキュメント¥Fiddler2から変えれるのねー。
んじゃ、レジストリにUserPathがあればそっちを取りに行くようにしますわ−。
413 :名無しさん@お腹いっぱい。:2017/05/04(木) 22:08:50.11 ID:52dXlWca0.net
522 :名無しさん@お腹いっぱい。:2018/02/16(金) 21:35:50.70 ID:JJISsCja0.net
ああ、確かにpink崩れてたな
あんま気にしてなかったけど
442 :名無しさん@お腹いっぱい。:2017/10/02(月) 14:38:15.95 ID:1/u1pvVW0.net
72 : 【BE: Lv=10,xxTP】(1+0:8):2015/04/02(木) 18:41:45.50 ID:XeDT2xsa0.net
>>71
1桁のスレにカキコしてみたけど、無問題だったは。
297 :名無しさん@お腹いっぱい。:2016/03/26(土) 04:47:58.72 ID:69Ha2yw60.net
>>296
>>294でないけど今日急になったぞ
もちろんFiddlerもルールもしばらく変更無しで
ともあれ再取得で直ったみたいだthx
218 :名無しさん@お腹いっぱい。:2015/12/02(水) 23:01:05.05 ID:0gOJI6ub0.net
>>213
ぶっちゃけ、Fiddler最新にして1回Customrules.js破棄
Customrules.jsは C:¥Users¥ユーザー名¥My Documents¥Fiddler2¥Scriptsの中にあるから1回これを削除。
そして、Fiddler再起動してメニューからRules→Customize Rulesで
CustomRules.js開いて下の箇所にhtmltodatByFiddler2.06の
OnBeforeRequestとOnBeforeResponseの内容をコピペ。
OnBeforeRequestの方は、219行と220行の間にそのままコピペ
OnBeforeResponseの方は、271行と272行の間にそのままコピペ
318 :名無しさん@お腹いっぱい。:2017/03/07(火) 14:48:11.36 ID:fcaCVQKe0.net
>>317 たまにあるよ
常駐チェッカー画面に貼り付けておくのもありかも
37 :32:2015/03/30(月) 05:25:29.89 ID:Nf/T9p7E0.net
>>34
この画像の左上のAny Processの横にKeep: All sessionsってのがあると思う
これをKeep: 100 sessionsにすれば最新100セッションのみ保持になる
309 :名無しさん@お腹いっぱい。:2016/06/17(金) 03:31:20.94 ID:RKY3WPZS0.net
179 :Fiddler2chExtension ◆7nuuPIs6jA :2015/06/16(火) 20:05:07.60 ID:ouC9IB7V0.net
576 :名無しさん@お腹いっぱい。:2018/05/13(日) 23:49:00.79 ID:+wyhL9ms0.net
373 :名無しさん@お腹いっぱい。:2017/04/25(火) 02:20:09.35 ID:4cOSgmrd0.net
211 :名無しさん@お腹いっぱい。:2015/12/02(水) 15:22:45.55 ID:2N43a07x0.net
めんどくさいことになってんなー
それ狙って弄ったのかも知れないが
489 :名無しさん@お腹いっぱい。:2017/10/04(水) 08:33:09.15 ID:AC4qYCoX0.net
>>485
大人の事情、自己責任ってとこじゃねえかな
122 : 【BE: Lv=10,xxTP】(1+0:8):2015/04/19(日) 08:18:14.53 ID:pIdkRnC/0.net
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/258-260
258 :名無しさん:2015/04/17(金) 21:26:42 htmltodatByFiddler 2.02 ありがたく使わせてもらっています
先日2chのスレでウンコって書きました。もうしませんごめんなさい。 by FIX ★が書き込まれたスレが取得できない状態になってしまいました
何らかの形で対応できないものでしょうか
259 :名無しさん:2015/04/17(金) 23:32:31 >>258
Fiddlerと2chの間にはCloudFlareがあってだな
2chのread.cgiのバグを修正しない限りCloudFlareが誤動作するんだ
これは端末のツールでどうこう出来る問題じゃないんだよ
260 : ◆/vmukiyuzw:2015/04/17(金) 23:51:11 >>259さん、フォローありがとうございます。
>>258さん
一応状況は把握していて、何か逃げ道はないかと考えていたのですが
htmlを取得して変換するという仕組み上、そこでエラーになる状況であれば
完全に回避することは難しいと考えます。
(どのレスにウンコって書きました。もうしませんごめんなさい。 by FIX ★が書かれてるかは読んでみないと分かりませんしね)
現状ではAPI対応のプロキシもいろいろあるようなんで
そちらをお使いいただいたほうがよろしいかと。
しかし、2ch.net側としても
read.cgi経由(htmlプロキシだけでなく汎用のwebブラウザでも)で
読めない状況はまずいと思われるので
そのうち対応されるだろうと期待して様子見してるのですが。
451 :名無しさん@お腹いっぱい。:2017/10/02(月) 16:42:02.36 ID:qgMCqJqe0.net
あとXenoのReplaceStr.txtの最後の行に
2ch【TAB】5ch
を入れておけば前スレとかのリンクがそのまま使えるようになるね
ただ、他に良い記述があるかもしれないので注意
※【TAB】はキーボードのタブね
ちなみに、私もXenoからはCookie消しても書き込めないw
307 :名無しさん@お腹いっぱい。:2016/04/29(金) 10:28:47.34 ID:TaRJzUvM0.net
>>305
その URL に繋ぎにいくのを止めるフィルタを書けばいいんじゃね?
ログに出てるってことは通常経路で通信していると見ていいっぽいから OnBeforeRequest で握り潰せばいいと思う。
ただこの手のソフトの更新チェックは入れておいた方がいいとは思うけどな。
581 :名無しさん@お腹いっぱい。:2018/05/25(金) 21:10:13.95 ID:TwEHIEKJ0.net
>>580
やはり追加するとなるとプラグイン等が必要になるのですね。
教えていただいたサイト見てみて、考えてみます。
レスありがとうございます。
19 :名無しさん@お腹いっぱい。:2015/03/27(金) 22:17:43.59 ID:f8cpOXBO0.net
508 :名無しさん@お腹いっぱい。:2017/10/14(土) 01:20:20.74 ID:9SbdkwM70.net
>>507
ありがとう、ログ破損めったに出なくなった。
また仕様変更あるたびにログの読み込み直ししないと
いけないと思うとめんどうだな
みんなはやくopen2chとかに移住して欲しいわ
376 :名無しさん@お腹いっぱい。:2017/04/25(火) 19:05:03.27 ID:lYXheNGB0.net
今の所JaneStyleでは363さんの言う修正をしなくても使えてるんですが
スレを開いたまま新着チェックをするとログが壊れてしまいませんか?板によるみたいでν即だとそうなってしまいます。。
506 :名無しさん@お腹いっぱい。:2017/10/12(木) 21:37:51.70 ID:OHXIEllv0.net
JaneXeno150312 + Fiddler + htmltodatByFiddler 2.24
今日あたりから新着チェックをするとログが取れずに
ログ破損の赤いマークがよくでるようになった。
「全タブの新着チェック」やるとすぐにログ破損になる。
5chの仕様変更で差分でログとれなくなったのかなぁ
>>505
htmltodatByFiddler 2.24の
コメントアウト解除は5ch.netからの読み込みのために必ず必要だったよ
>>503は書き込みに関連したワザ。やっておくと2ch.netの
ドメインがなくなっても書き込みができる。
171 :名無しさん@お腹いっぱい。:2015/06/15(月) 18:22:36.96 ID:cB7wQM0D0.net
457 :名無しさん@お腹いっぱい。:2017/10/02(月) 20:50:16.19 ID:A/wZwohm0.net
5chに書き換えると 読めるようになるけど書き込めない
2chのままだと読めないけど書き込める
なんだよこれ・・・
514 :名無しさん@そうだ選挙に行こう! Go to vote!:2017/10/22(日) 09:33:15.47 ID:wgFzIjKW0.net
191 : 【BE: Lv=10,xxTP】(1+0:8):2015/07/26(日) 03:29:22.94 ID:0PEgAJpH0.net
FiddlerオリジナルのCustomRules.jsも若干修正されてる様だ。
なんで、最新のCustomRules.jsを再カスタマイズして使用中。
330 :名無しさん@お腹いっぱい。:2017/03/08(水) 02:13:43.32 ID:2pnFaRrs0.net
315 :名無しさん@お腹いっぱい。:2017/02/24(金) 23:08:18.80 ID:5MqDd8w/0.net
>>314
それが専ブラなのかWebブラウザなのかは分からんが俺はなったことないな
もっとも常駐しっぱなしはあまりないからかもだが
ただ起動中はほとんどメモリを解放してくれないからそれが原因の可能性もある
とりあえず起動時は「/noversioncheck /quiet」のコマンドオプション付けてる
前者は最近のバージョンでの起動時の強制更新チェックするのを防いでる
後者は起動時のスプラッシュやウィンドウ表示をカットする最少化起動みたいなもの
ウィンドウ等が表示されない分若干メモリを抑えて起動できるな
131 :名無しさん@お腹いっぱい。:2015/04/19(日) 14:13:49.17 ID:5vZxfgTd0.net
APIのやつって時間経つと期限切れかしらないけど使えなくなるやね
リセットすればいいんだけどさ
201 :名無しさん@お腹いっぱい。:2015/11/17(火) 16:10:23.43 ID:0GCHatTX0.net
24 :名無しさん@お腹いっぱい。:2015/03/28(土) 01:45:37.09 ID:g9kzNFSe0.net
自分でやればいい
甘やかすと>>1みたいなのが湧くし
何か出るたびに要望ばかり言ってると出す人がいなくなるよ
268 :名無しさん@お腹いっぱい。:2015/12/12(土) 02:00:48.59 ID:UCbL7kEw0.net
う〜ん、2ch自体がぶっ壊れてるんだろうか、仕様変更したんだろうか
しかし、こんだけ変更多いとhtmltodatの作者さんも大変だろうな
507 :名無しさん@お腹いっぱい。:2017/10/13(金) 00:14:00.42 ID:kyW0o5pW0.net
>>506
当面これでしのげるということらしい
//スレのタイトルを取得
↑
このコメントを検索
その下の一行を
var title = oBody.match(/<title.*?>(.*?)¥n?<¥/title>/mi);
↓
var title = oBody.match(/<title.*?>(.*?)¥s*?<¥/title>/mi);
に書き換える。
157 : 【BE: Lv=10,xxTP】(1+0:8):2015/04/27(月) 17:15:00.34 ID:GaKP2kZD0.net
>>156
//datが存在しないなどまっとうなレスポンスでない場合404を返して抜ける
if (!oBody.match(/<dl /)){
oSession.responseCode = 404;
return;
}
103 : 【BE: Lv=10,xxTP】(1+0:8):2015/04/13(月) 20:53:43.78 ID:CW7MePt60.net
66 :名無しさん@お腹いっぱい。:2015/04/02(木) 14:03:21.96 ID:IM6j59zJ0.net
あのさー、これを使うと2chだけでなく他の通信にも影響するよね。
特にブラウザ関連。ダウンロードをしているときにFiddlerを止めると通信が止まる。
そしてニコニコ動画などの読み込みもおかしい。
読み込み自体は時間をおけばできるがすぐにバーが進んだりしない。
ダウンロードし終わってから一気に動くような感じになる。
htmltodatByFiddler2.02は2ch以外にも絡んでくるのか?
8 :名無しさん@お腹いっぱい。:2015/03/27(金) 01:58:30.53 ID:Er7V62cR0.net
あと、あそこはソフトウェア板じゃない住民が多くいるから、ああいう感じになるんだと思うわ
あのスレはこの板でも異質だから、個別スレ作るの自体はいいと思うんだがこれだからね
141 :名無しさん@お腹いっぱい。:2015/04/20(月) 05:16:58.31 ID:Vd5eAlvX0.net
WEBブラウザでも読めるようになっているね
でもそのせいかFildderのAPIモードでXenoのdat落ちしたスレがログ破損扱いになる
HTMLモードで使えているから良いけど
110 :名無しさん@お腹いっぱい。:2015/04/17(金) 06:08:18.82 ID:SaZRMpsx0.net
Chunked body did not terminate properly with 0-sized chunk,{0}
たまにこのようなエラーで怒られます。
473 :名無しさん@お腹いっぱい。:2017/10/03(火) 07:19:35.02 ID:ZTE9MGCX0.net
問題でてきてたのか
スマホアプリ板なら読み書き込みできてたから気づいてなかった
404 :名無しさん@お腹いっぱい。:2017/04/27(木) 13:47:12.82 ID:p37sOP7U0.net
レスを投稿する(名前省略可)