スクレイピングの悩み
困ってるなう
どうも副会長です
GoogleのコンテンツをスクレイピングするようなWebアプリを作りたい
過去にとあるコンテンツでやったことがあるんだけど、その時はIP制限食らった
IP制限ってこれのことですね
www.slideshare.net
(「Google スクレイピング ip制限」とかでググってもあんまり情報無いですね
あんまみんな困って無いのかな…?)
今解決策を考えてたんだけど、あんまりいい方法が浮かばない
AWSで都度インスタンス立てて都度破棄する
スクレイピングがリアルタイムではなく、定期的に行う && 計算コストが大体わかる
ならばこれでいいと思う
今回はユーザーアクションに応じてリアルタイムにスクレイピングを走らせたいのでぼつ
クライアント側でスクレイピングする
んーまあこれかなぁ
結局クライアント側で使いまくるとIP制限がかかるので根本解決ではない
ただIP分散しただけ
あとはIP制限じゃなくて、アクセス元のドメインで制限されると結局ダメな気がする
jsでhttpクライアントみたいなのを触ったことがないのでよくわからない
ぐぐってもあまり同じようなケースに遭遇しない
やろうとしてることが結構特殊な要件なのかね
んーjsでやってみるかなーー
ではでは
追記
これだーーーーーーー
いけるかもしれん
rubyのtor-privoxyを使って、IPを偽装しつつHTMLを取得する - webプログラマーのブログ
追記2
とりあえず動いた
てっくねた
IT技術ネタですね
どうも副会長です
引っ越して早々連続投稿ですね
いいですね
その1
そもそもWordPressからここに引越してきた理由が
サーバの再構築のためだったりします
んで再構築用にserverspecを書いてみて、
ansibleを書いてみてとちょっとやってました
ansibleなんかわかりにくくないですか?
前にちょっとchefを触っていたのですが、
chefはすごく面倒でした
今回みたいな軽い構築には向かないですよねと
ansibleはライトだと記事を読んだのですが、ちょっと面倒な印象でした
結局ymlの記法がよくわからず、最初はググりながら書かないといけない
itamaeというツールがあるのも知り、
次はitamaeをちょっと触ってみようかと
東京生まれヒップホップ育ちのぼくにはitamaeのが馴染みやすそうだ
その2
Rebuild.fmが楽しい
毎週更新が楽しみでしょうがないのですが、
同じようなPodcastがないものかと探してました
結論としては見つけられず
wada.fmは聴き始めてみました
音声で興味のある情報を仕入れるというのが結構ぼくの中でヒットして、
これはいいなと思ってます
大体こういう情報はWebの記事でインプットするのですが、
音声にすることでこんなに楽なのかと思いました
家事しながらとかで聞けるのがほんとに良い
kindleの電子書籍をいい感じに読み上げてくれると結構それでOKなんだけど、
うまくできず
あんまりコンテンツが無さそうなので、
ちょっとやってみようかなーとは思った
眠いのでここまで
ではでは
WordPressからはてなブログに来ました
はてなブログでの初記事ですね
どうも副会長です
【これまでのブログ引越歴】
FC2ブログ 2008年〜
↓
はてなdiary ?? 〜 2012年
↓
WordPress 2012年 〜 2015年
↓
はてなブログ ← イマココ
はてなdiary時代の記事をインポートできたので、
そこまでの分の過去記事だけありますね
WordPressの3年分の記事は、もってくるの面倒だったのでとりあえずやめました
【何故引越したのか】
ここに来る前はWordPressをレンタルサーバで動かしてましたが、
サーバをいろいろいじろうと思ったときにブログが消えても良い状態に
しておきたいなぁと思ったからですね
数あるブログサービスからはてなブログを選んだ明確な理由はないです
ふわっとした理由ならあります
・Pressoのユーザーだから
・はてなブックマークアプリもちょくちょく見るから
あとはぼくがエンジニアなので、はてなに対して良い印象もありますね
なんだかんだ、このブログは8年目に突入しそうです
ではでは
ブログ移転しました！
またかよって感じですね
どうも副会長です
新しいブログURLです！
副会長の報告書
いやもうブログ書くこと自体めちゃ久しぶりですね
この度WordPressというブログソフトを勉強がてら使ってみようと思いまして、そのために移転になります
記事もろくに更新してないのに移転ってのもなんかあれですが
過去記事も合わせて全部お引越ししましたが、データがバグってる部分があったみたいで、 1970年1月1日付けの記事がいくつかありますねー
気にしない方針で！
定期的に来て頂いていた方には申し訳ないですが、今度からはこちらを覗いてやってください
ちょうどいい機会なのでちょこちょこブログ更新しますよこれからは！
社会人もうすぐ4ヶ月経ちます
いろいろ書くことあるんですがなにせ時間があんまりないもんですからねぇ
なんとかします
とりあえず移転の訳を詳しく記事にしておきますね
次回からは新しいブログでお会いしましょう！
ではでは
新社会人は悩んでおります （自己解決ゾロリ）
人生について
どうも副会長です
今のままじゃいけないことはわかる
今うだうだ記事書いては消してって繰り返してる
でもちょっとすっきりしてきた
方針としては、
「もっと自然体でいけばいいじゃん」
きっとちょっと無理してた
今まで、自分に負荷をかけることで、自分を成長させるようにやってきた
これ自体は、そこまで間違ったアプローチではないと思う
成長したいと思うし
ただ、負荷のかけ方だとか適度な負荷ってのをもうちょっと考えようと思う
今のおれに1tの荷物を背負わせても全く動けなくて、
それじゃ結局一歩も進めない
「おれはだめな男」だとうじうじするだけだ
どの筋肉を鍛えたいのか
どのくらいの負荷なら歩けるのか
その視点を持とうと思う
負荷をかける以外にも成長するアプローチはあって、
もっとやりたいこと素直にいろいろやれば、気付いたらつく筋肉もある
そういう人はキラキラしてて素敵だと思った
精神論でごり押す人をよく例えで「マッチョ」っていったりする
だから筋肉の例えにしたんだけど
おれはマッチョじゃなかった
すごいなぁ、かっこいいなぁと思う人に憧れる
自分とすごく離れているように思う
100km離れてるとして、それが近いのか遠いのか
今までは遠いと思ってた
でもおれとその人が地球くらいの大きさだとしたら、100kmってのは誤差みたいな大きさだったりする
もうちょっと大きい視点で考える
人間どいつも似たり寄ったりなのかもしれない
そうじゃないかもしれないけど
まあ考え方次第だと思う
あんまり焦るのをやめる
思い出したのが、高校のときの物理の先生が異動のときに、全校生徒の前でした話
その人は、何か悩み事があったときに、宇宙のことを考えるらしい
宇宙ってのはめちゃくちゃ広い
その中の宇宙の塵が集まってできた星の宇宙の塵の中の塵みたいな人間の営みなんてのは、
本当に塵みたいな出来事でしかないと
それでちょっと気分が楽になるらしい
こんな感じだと思う
1tの荷物を背負っても、歩ける人もいる
実はインナーマッスルがすごい人とか、まじで根性ある人とか
おれはたぶん1年くらいそれで歩こうとしてたけど、やっぱり歩けなかったからそれは降ろすことにした
きっとこの1年でついた筋肉もあると思うけど、前には進んでない
これで歩けるかわかんない
筋肉付けれるかわかんない
まあダメだったらまた別の道を考える
こういうときは煙草ですわ
ではでは
続くかたち・終わるかたち
4年
どうも副会長です
このブログ初めてもうすぐ4年経ちますね
今調べたら最初の記事が2008年6月1日でした
全然頑張って更新してるわけではないのであんまり実感ないです
FC2からこっちに引越ししました
まあ別に引越しは大した意味もなく行い、
大した結果ももたらしませんでした
そう考えると大学時代を共に歩んできたわけですね
きっとこれからもぼくの人生を共に歩んでいくのでしょう
このブログは続きますずっと
形は変われど、続くものです
あー
ブログに変に入れこむのもあんまりよくないかもとも思うけどね
大学入ってからずっと付き合ってる友人もいます
家族なんてのは生まれてからずっと付き合ってるわけです
その中で
今日、一つの付き合いが一つの終わりの形を迎えました
今は本当にありがとうという気持ちでいっぱいです
一つの終わりを迎えたけど、まだまだ人生は長いです
これからも違う形で付き合っていけたらと思います
かたちは変われど
ではでは
社会人1ヶ月です
全然ブログ更新するタイミングないですわ
どうも副会長です
元気にやっておりますよ
ブログを更新するのはそこそこエネルギーを使うのです
その割に更新するメリットが弱いからコスパ悪くて優先順位は低くて、全然更新できません
つまり今もっとコスパが高い選択肢がいっぱいあってそっちに流れてます
つまり充実してます
今やりたいことがいっぱいあって、そのために頑張ってる感じです
楽しいです
ただ、社会人なので、やりたいことだけじゃなくて、期待されること・求められることもあって、それに応えるのも今はまあまあ楽しくて面白いんですが疲れます
疲れてます
キャパオーバーしてます
でもキャパオーバーを乗り越えることで自分のそもそものキャパが大きくなったらいいなと思ってます
社会人になって、多少視野が広くなったのかなと思います
悪い言い方をすると、今まで眼中になかったものが視界に入るようになりました
テキストだとかじゃ本質は伝えにくい（おれに表現する能力が足りない）、自分が社会人になって働いてからわかったことがいっぱいあります
またそのうちじっくり書きます
ではでは
