直案件
最終更新日:2025/10/15
【Python/GoogleCloudPlatform】Webクローラー開発エンジニアの業務委託案件・フリーランス求人
〜800,000円/月
業務委託
案件基本情報
| 働き方 | フルリモート / 週4日〜5日 |
|---|---|
| 業務形態 | 業務委託(準委任) |
| 場所 | 東京都 / 不動前駅 |
| 職種・ポジション | バックエンドエンジニア / データベースエンジニア |
| 開発環境 | Python / GoogleCloudPlatform |
| 業界 | 広告 |
業務内容
【想定業務内容】
・複雑なWebサイトからのデータ抽出、収集、正規化
・大規模なクローラーシステムの設計、開発、運用、パフォーマンス改善
・アンチボット対策(CAPTCHA、レート制限、ブロックなど)の回避技術の実装
・各種プロキシサービスを利用した効率的で安定したクローリングの実現
・クラウドサービスを利用したクローリング基盤の構築とデプロイ
【使用技術】
バック言語:Python, Javascript
フレームワーク:Scrapy
ブラウザ操作:Selenium, PlayWright
IPプロキシ利用経験:ScraperAPI, Zyte, BrightData,ScrapingDog, Oxylabs, ZenRows, Firecrawl等
クラウド:GCP(理想), AWS, Azure
GCPサービス:Cloud Run, BigQuery, Firestore
・複雑なWebサイトからのデータ抽出、収集、正規化
・大規模なクローラーシステムの設計、開発、運用、パフォーマンス改善
・アンチボット対策(CAPTCHA、レート制限、ブロックなど)の回避技術の実装
・各種プロキシサービスを利用した効率的で安定したクローリングの実現
・クラウドサービスを利用したクローリング基盤の構築とデプロイ
【使用技術】
バック言語:Python, Javascript
フレームワーク:Scrapy
ブラウザ操作:Selenium, PlayWright
IPプロキシ利用経験:ScraperAPI, Zyte, BrightData,ScrapingDog, Oxylabs, ZenRows, Firecrawl等
クラウド:GCP(理想), AWS, Azure
GCPサービス:Cloud Run, BigQuery, Firestore
求めるスキル
■ 必須スキル:
・Pythonを用いた実務経験3年以上
・PythonやScrapyを用いたWebクローラー開発へのご興味
■ 尚可スキル:
・Pythonを用いたWebクローラー開発経験
・Scrapyを使用した大規模クローリングシステムの開発経験
・SeleniumまたはPlaywrightを用いたブラウザ自動操作・スクレイピングの実務経験
・IPプロキシサービス(ScraperAPI, Zyte, BrightData, Oxylabs, ZenRows, Firecrawlなど)の利用経験と深い知見
・Webクローラーに関する高度な知識と、アンチボット対策を突破する技術への精通
・GCP(Google Cloud Platform)を利用したインフラ構築・運用経験
・Pythonを用いた実務経験3年以上
・PythonやScrapyを用いたWebクローラー開発へのご興味
■ 尚可スキル:
・Pythonを用いたWebクローラー開発経験
・Scrapyを使用した大規模クローリングシステムの開発経験
・SeleniumまたはPlaywrightを用いたブラウザ自動操作・スクレイピングの実務経験
・IPプロキシサービス(ScraperAPI, Zyte, BrightData, Oxylabs, ZenRows, Firecrawlなど)の利用経験と深い知見
・Webクローラーに関する高度な知識と、アンチボット対策を突破する技術への精通
・GCP(Google Cloud Platform)を利用したインフラ構築・運用経験
エージェントより
Webクローラーへ精通したエンジニアを探しています。