天才プログラマいたら聞きたいんだけど正規表現にマッチするURL全て検索するにはどうすればいいの？ [623230948]

?2BP(1000) · 2024/02/12(月) 08:29:44.51

?2BP(1000) · 2024/02/12(月) 08:30:37.67

好きなＡＶ女優の買取りまっくすイベントを簡単に検索できる魔法ツールを作りたい、Google検索でもヒットしないからな

総当たりしたらできないこともなさそうだけど
できれば総当たりはしたくない

**安倍晋三🏺** (ﾜｯﾁｮｲW 7284-txhl) · 2024/02/12(月) 08:32:28.02

サイト内のリンクをクリックして辿れるならSelenium
辿れないなら知らん

2024/02/12(月) 08:32:52.86

ケモメンなら誰かデータ持ってるから頼んだらいいだろ

?2BP(1000) · 2024/02/12(月) 08:34:49.77

>>3
カレンダーみたいなのはある
http://www.kaitorimax.com/signkai/signkai.html

2024/02/12(月) 08:36:04.07

昔のダウンロードソフトとかそんな機能ありそう

**安倍晋三🏺** (ﾜｯﾁｮｲW 1fb1-lpOu) · 2024/02/12(月) 08:36:55.16

Puppeteerで作ってページ開いてドキュメントノードのソース抜いてその中を /rrgexp/g で検索すりゃええだろ

2024/02/12(月) 08:37:02.18

そのサイトの全ての構成要素をぶっこぬけるフリーソフトの～～（名前忘れた）エクスプローラってあるよね

全部抜いてきてエクセルに貼り付けて
TODAでフィルタかけたら良いじゃん

2024/02/12(月) 08:37:59.85

それよりハイ美女ん風呂で検索総取り出来た方が有能だわ

2024/02/12(月) 08:38:53.86

googleカレンダーならAPIあるんじゃない
知らんけど

2024/02/12(月) 08:39:21.84

人間に聞くよりAIに聞くほうが早い

🏺 (ﾜｯﾁｮｲW 6b12-+162) · 2024/02/12(月) 08:39:37.84

それ正規表現というか、昔のリゲットとかアーバインとかであった機能だろ

**安倍晋三🏺** (ﾜｯﾁｮｲ 2798-9hwO) · 2024/02/12(月) 08:40:52.90

ヘッドレスなんて使う必要ないだろ
ソースに全部出てるじゃん

2024/02/12(月) 08:41:26.42

転載プログラマー以外は書き込むなよ
恥ずかしくないのか？
なあ？

2024/02/12(月) 08:42:45.32

日付を取得して、日付からその日のレポートページのURLを作って
羅列したいってこと？

2024/02/12(月) 08:43:17.86

>>5のソース中に載ってるじゃん
画像のalt属性値が女優名でその親要素がURLちゃうの

?2BP(1000) · 2024/02/12(月) 08:44:15.95

本当だ！全部あるじゃん！

2024/02/12(月) 08:44:59.56

え？AIに聞けよ

2024/02/12(月) 08:45:06.11

天才だけど、わからない人に教えるの難しいから書きたくない

2024/02/12(月) 08:47:05.13

大前提として全ページスクレイプしてURLリスト作る必要があるから一般化できるプログラムだと効率悪いものしかできない

ターゲットにするサイトの階層とかHTML構造調べて自分で作れとしか言いようがない

100%網羅しなくてもokなら、Wayback MachineのAPI叩いてURLリストぶっこ抜くのが楽
https://github.com/internetarchive/wayback/tree/master/wayback-cdx-server

2024/02/12(月) 08:48:26.38

邪悪に行くならURLの年月日部分全てアクセスして200 OK返ってくるやつを探す

2024/02/12(月) 08:50:24.64

そもそも日本の場合、ページを収集してサーバーに負荷をかけたら捕まる可能性があるんじゃないのか

**安倍晋三🏺** (ﾜｯﾁｮｲ 2798-9hwO) · 2024/02/12(月) 09:04:40.32

>>22
並列処理しなければ大丈夫

**安倍晋三🏺** (ﾜｯﾁｮｲW ef8f-J1F2) · 2024/02/12(月) 09:06:11.92

>>21
これでいいんじゃねえの
負荷かけるとヤバいから、平均で5秒に1アクセスくらいにして、アクセス時間も適度にランダム化しておくべきだが

2024/02/12(月) 09:17:49.89

簡単なスクレイピングスクリプトならAIが作ってくれる

2024/02/12(月) 09:18:04.73

ゲットしたHTMLソースから抜くだけだろ

**安倍晋三** (ﾜｯﾁｮｲ efa2-6uJS) · 2024/02/12(月) 09:22:15.99

昔あったダウンロードツール使えばいいだけだろ

2024/02/12(月) 09:24:08.99

ボタン押したらページ内でカレンダーが変化するだけの特殊なページだから難しいのか

2024/02/12(月) 09:26:40.98

import re

# パターン
pattern = r"http:\/\/www\.kaitorimax\.com\/signkai\/\d{4}\/\d{4}_toda_makoto\/toda_makoto\.html"

# URLを入力
input_url = input("URLを入力してください: ")

# 正規表現でパターンを検索
match = re.match(pattern, input_url)

if match:
print("URLはパターンと一致しました。")
else:
print("URLはパターンと一致しませんでした。")

**安倍晋三🏺** (ﾜｯﾁｮｲ 2798-9hwO) · 2024/02/12(月) 09:29:40.43

puppeteerならiframe内のノードも辿れるからな

?2BP(1000) · 2024/02/12(月) 09:34:17.89

ありがとう、ソフトウェア完成した

2024/02/12(月) 09:35:05.74

性器表現 (i)

2024/02/12(月) 11:51:07.24

正規表現訳わかんなさすぎて俺には無理。ChatGPTさんにいつも聞いてる。

**安倍晋三🏺** (ﾜｯﾁｮｲW 1fb1-lpOu) · 2024/02/12(月) 13:16:06.40

何が難しいのかとは思うが新卒には1年目でフクロウ本ぐらいの内容はおさえるように言ってある

?2BP(1000) · 2024/02/12(月) 13:28:45.89

調べてみたが、過去のサイン会のページが1800以上あって、それぞれ１５くらいの写真があって
サーバーにすげえ負担かかるから、書くのやめとくわ
大量アクセスで鯖止まって営業妨害とか言われて逮捕されると嫌だし

2024/02/12(月) 13:30:47.08

馬鹿なスクレイピングは犯罪になりうるからな

?2BP(1000) · 2024/02/12(月) 13:32:10.21

コンソールでjavascript使って、サイン会の女優ごとの個別ページへのリンクを正規表現で拾って
そこから画像リンクの親パスだけ抜き出して、async awaitで非同期でアクセスしながら２分法で有効なリンクの数字を判定していくのを繰り返せば
2万7000くらいのリンクが得られる
大人数で一気にアクセスしたらサーバーの負荷が大きい

?2BP(1000) · 2024/02/12(月) 13:32:47.09

>>836
ほんまやで

2024/02/12(月) 13:39:03.88

>>35
１アクセスごとに１分とかウェイト入れて、通常人間が閲覧するスピードや件数の範囲でやれば問題ない
聞かれたら「手作業で見てた」って言えるしな

?2BP(1000) · 2024/02/12(月) 13:40:56.48

>>39
無視してsleep（実際はinterval）してる部分を消して速攻アクセス繰り返すバカが大量に出て来るので
第三者に向けてスクレイピングのスクリプトを公開するのは危険

2024/02/12(月) 13:46:24.89

誰かが画像だけまとめてアップロードするとか
AI学習用の用途で

2024/02/12(月) 14:02:25.23

全部落としてから考えれば

?2BP(2000) · 2024/02/12(月) 14:04:32.10

正規表現はChatGPTに聞くのが手っ取り早いぞ