شرح شغل:
در این جایگاه شغلی، فرد مسئول طراحی، توسعه و نگهداری سامانههای جمعآوری داده از منابع مختلف وب و پلتفرمهای آنلاین خواهد بود. این نقش شامل پیادهسازی خزندههای وب (Web Crawlers)، استخراج و پردازش دادههای ساختاریافته و غیرساختاریافته، توسعه سرویسهای جمعآوری اطلاعات و ایجاد زیرساختهای مقیاسپذیر برای مدیریت دادهها است. کارشناس جمعآوری دادهها باید توانایی توسعه نرمافزار با Python، کار با ابزارهای تخصصی خزش وب، طراحی APIهای ارتباطی و مدیریت چالشهای مرتبط با استخراج داده از منابع مختلف را داشته باشد. همچنین این فرد در بهینهسازی فرآیندهای جمعآوری داده، توسعه سرویسهای پردازشی، استفاده از پایگاههای داده و همکاری در ایجاد سامانههای دادهمحور مشارکت خواهد کرد.
شرایط احراز:
• عمومی
- توانایی تحلیل مسئله و ارائه راهکارهای فنی در حوزه جمعآوری و پردازش داده
- علاقهمندی به یادگیری فناوریهای جدید در حوزه داده، توسعه نرمافزار و وب
- توانایی کار تیمی و برقراری ارتباط مؤثر با اعضای تیم فنی
- مسئولیتپذیری، دقت بالا و توانایی مستندسازی فرآیندهای توسعه
- توانایی بهینهسازی، رفع خطا و بهبود عملکرد سرویسهای نرمافزاری
• تخصصی
- توانمندی در حوزه خزش داده و جمعآوری اطلاعات از سطح وب (Data Crawling)
- تسلط بر زبان برنامهنویسی Python و تجربه توسعه نرمافزار حرفهای با این زبان
- تسلط بر مفاهیم و چالشهای جمعآوری اطلاعات از منابع مختلف
- تجربه کار با ابزارهای جمعآوری داده شامل Scrapy، Selenium، BeautifulSoup و Requests
- تجربه کار با APIهای شبکههای اجتماعی مانند Twitter و سایر پلتفرمهای آنلاین
- تسلط بر طراحی و توسعه RESTful API
- تسلط بر مفاهیم برنامهنویسی شیءگرا (OOP) و Design Pattern
- تسلط بر ابزار کنترل نسخه Git
- آشنایی با پایگاههای داده NoSQL مانند MongoDB و Elasticsearch
- آشنایی با Message Brokerها مانند Apache Kafka، Redis و RabbitMQ
- آشنایی با مفاهیم MultiProcessing، MultiThreading و Asyncio
- آشنایی با فریمورک FastAPI
- آشنایی با Celery و معماریهای پردازش غیرهمزمان
- آشنایی با تستنویسی نرمافزار
- آشنایی با Dockerize کردن سرویسها و کار با Docker Compose
- آشنایی با Kubernetes
- توانایی Debug و بهینهسازی سرویسهای نرمافزاری
اطلاعات تکمیلی:
- ساعت کاری: شنبه تا چهارشنبه 7:00 تا 15:50 (با یکساعت شناوری)
- حقوق: توافقی
- مدرک تحصیلی: مهندسی کامپیوتر
- حداقل تحصیلات: کارشناسی
- سابقه کار: حداقل 1 سال
- جنسیت: آقا/خانم