목록크롤링 (1)

Create Opportunities

업무 자동화를 위한 Selenium 크롤링 (1)

근무하는 인공지능연구센터에서 데이터 구축 업무를 담당하면서 1000시간 가량의 선별된 유튜브 영상을 수집하고, 발화 단위로 영상을 분할하는 작업을 진행했다. 선임 연구원님께서 3일만에 개발한 Data Collector 툴을 사용하여 수집이 간편했지만, 데이터 구축은 사람의 손이 닿을 수 밖에 없는 영역이기에 매우 오랜 시간을 투자해야 했다. 많은 기업과 기관에서 효율적인 데이터 수집과 어노테이션 툴 개발에 힘을 쓰는 이유를 느낄 수 있었다. 초기 input 데이터로 들어갈 영상을 수집하기 위해서는 수동적으로 유튜브 영상을 모으기도 해야 했지만, 크롬 드라이버와 Selenium을 활용해서 영상 링크를 모은 뒤, Data Collector에 입력하는 과정까지 자동화해서 데이터 구축을 빠르게 진행할 수 있었다..
나의 생각들 2023. 7. 15. 21:53
이전 Prev 1 Next 다음