Small Steps Every Day

매일 천천히 조금씩 앞으로 나아가다.

2025/01/27 2

[성동3기 전Z전능 데이터 분석가] DAY 25 _ 파이썬 실무 프로젝트_뉴스 데이터 전처리 / 번역, 감성분석 _ Vader/FinBERT

프로젝트 발표 시 고려사항과정보다는 목적과 결과를 중심으로 이야기 (10장 내외)분석을 나열하지 말고, 하나의 이야기로 전달문제제기, 분석과정, 결과도출, 해결책 제시의 흐름청중에게 필요한 정보 제공(ex 도메인 지식)기타 노력을 보여주고 싶다면 Appendix 에 넣어두기데이터, 코드 출처 꼭 남기기 To Do데이터 전처리 (한👉영 번역)뉴스 기사 감성분석주식 + 뉴스 데이터 결합가설 검증 계획PPT 역할 분배 데이터 전처리 _ 번역 전일 뉴스 데이터 수집이 완료된 후, 통합하여 전처리를 하니 총 약 7만개 정도였다. 예상보다 많이 수집되어 놀라웠다. 하지만, 아직 전처리는 끝나지 않았다. 감성분석을 하기 위해 뉴스 Summary 열의 내용을 영문으로 통일시켜야 했다. 영문으로 번역하는 코드를 GPT..

[성동3기 전Z전능 데이터 분석가] DAY 24 _ 파이썬 실무 프로젝트_데이터 수집_네이버 뉴스 데이터 크롤링, 웹스크래핑

데이터 수집 어제 +1 을 추가함으로 스크래핑 코드는 완성이 된 줄로만 알고 해맑게 아침을 맞이 했다. 하지만, 교육기관에 도착하자마자 팀원이 달려와 “문제가 생겼어요!” 라고 하자  잠깐 눈 앞이 깜깜해졌다.코드 새로 짜야하나..?야후 뉴스 스크래핑으로는 도저히 6개월치 데이터를 당장 오전 중 받아올 대책이 나오지 않았다.다시 네이버 뉴스로..원래 텍스트 감성분석을 진행할 계획이었기에 정확도를 위해 애초부터 영문 뉴스로 크롤링할 생각이었다. 하지만 분량에 대한 한계 때문에 이전에 만들어 놓은 네이버 뉴스 스크래핑으로 진행해야겠다는 판단을 했다. 결과물에 영문과 국문이 혼합되어 한 번 더 한영 번역을 해야했지만, 당장은 해당 방안이 제일 빠른 길이라 생각했다.6개월치를 어떻게..?아무래도 6개월치를 한 ..