Overview

SNS에서 관리하고 있는 팔로워, 포스팅, 조회수를 크롤링하는 업무 자동화 서비스를 제공합니다.

SNS crawling robot은 아래의 기능을 제공합니다.

• 트위터 크롤링
• 텔레그램 크롤링
• 인스타그램 크롤링

What did i do

• Python으로 SNS 페이지를 크롤링하여 csv 파일로 저장하는 업무 자동화 봇 개발
• Selenium을 사용해 웹 브라우저 자동화 로직 구현
• PyInstaller을 사용해 비개발직군을 위한 실행파일 생성

Challenges

프로그램 실행 시간 줄이기

데이터 엔지니어링을 위한 노력

Takeaways

• Python을 학습하여 데이터 엔지니어링 프로덕트를 만들어 볼 수 있었습니다. Python을 비롯한 라이브러리들을 공식문서로 공부하는 것이 효율이 좋다는 점을 몸으로 느꼈습니다. 다시금 새로운 것을 배우고 적용하는 과정이 재밌다고 생각했습니다.
• 프로그램의 실행 시간을 어떻게 줄일지, 프로그램의 사용성을 어떻게 높일지 고민할 수 있었습니다. 반복 로직의 일원화, 크롤링 작업 단순화, .exe파일 생성을 통해 동료들이 빠르고 편리하게 프로그램을 사용할 수 있도록 고민했습니다.
• 동료들이 필요한 프로그램을 개발하여 도움을 준 경험이었습니다. 동료에게 도움을 줄 수 있다는 생각에 더 적극적이고 열정적으로 개발에 임했습니다. 그래서인지 다른 작업보다 더 성취도가 높았던것 같습니다. 다시금 개발의 목적이 유저의 니즈 충족이라는 점을 느낄 수 있었습니다.
• API 문서를 자세하게 뜯어 볼 수 있었던 경험이었습니다. SNS 마다 API 정책과 제공하는 기능이 다르다는 것을 알 수 있었습니다. 불필요한 지출을 줄이기 위해 API 문서를 더 꼼꼼하게 살펴보았는데, 이 과정에서 API 문서를 분석하고 정리하는 습관을 기를 수 있었습니다.
• 데이터 엔지니어링에 자신감을 가질 수 있었던 경험이었습니다. 데이터가 [데이터 베이스 → 백엔드 서버 → 데이터 엔지니어링 서버 → 프론트엔드 서버]로 흐르는 전체 과정을 이해하고 구현할 줄 아는 멋진 엔지니어가 되고 싶다는 생각을 했습니다.