MLOps 프로젝트/프로젝트 진행 상황 4

모기예보 1차 모델 생성

모기예보는 예측이므로 regression(회귀)가 적합!!! 사이킷런과 케라스에서 고민 - 먼저 케라스를 해보기로 함. Keras 딥러닝 코드 순서 1. 데이터 가져오기 Pandas를 사용해 가져오기 2. 데이터 랜덤 배치 학습데이터 80 : 평가데이터 20으로 랜덤 배치 3. 모델 구성 Sequential 층 쌓기 + activation 정하기 4. 모델 학습과정 설정 optimizer, loss 정하기 5. 모델 학습 + 학습과정 및 결과보기 학습데이터를 넣고 epoch 설정 6. 모델 평가 평가데이터로 평가 7. 예측과 실제 값 비교 8. 시각화 세부 설정 과정 Layer 처음에 크게 해서 줄여나가려고 총 5층 구성 (1024,500,300,200,1) 손실함수가 엄청 높게 나옴. 이리 저리 시도해..

모기예보와 날씨 상관 분석

가정 데이터 feature - 일별 최저기온 최고기온 평균기온 일강수량 최고풍속 평균풍속 최소상대습도 평균상대습도 일조량 평균지면온도 최저초상온도 연속누적강수량 label - 일별 모기 개체 수 서울시가 제공하는 모기 개체수가 2020년 이전(1000)과 이후(100)의 측정단위가 달라 이후의 단위인 100으로 통합 5월~10월까지의 데이터는 제외 - 측정을 안하고 기온에 따른 예측값만 설정하기 때문 20년도부터 수변부, 주거지, 공원로 따로 데이터를 제공하지만, 20년도 이전에는 통합이었기에 거기에 맞춰 20년도 이후도 통합데이터로만 사용 기존 날씨 데이터에 연속누적강수량도 같이 상관분석을 함. - 비가 연속으로 오면 모기알이 떠내려가 영향을 줄 거 같다고 가정했기 때문 Pandas를 통한 상관분석 코..

모기예보 내용 정리

프로젝트 명 모기 예보와 날씨를 활용하여 예방 솔루션을 제시하는 프로그램 시나리오 서울시가 의뢰, 현재 서울시의 모기 예보는 당일 상황에 대해서만 알려줌. 이에, 예측 후, 미리 예방할 수 있는 프로그램을 부탁 내용 현재 서울시의 모기 예보는 5-10월까지의 측정 데이터가 존재하며, 나머지는 기온을 통한 예측값을 제공 이에, 더 다른 날씨 데이터와 모기예보의 상관 분석 후, 직접 모델 학습을 통해 예측값의 정확도 측정 현재 서울시의 모기 예보는 당일과 과거의 상황만 알 수 있음. 학습된 모델과 기상예보를 통해 미래를 예측하여 예방할 수 있는 프로그램을 만들고자 함. 필요한 데이터 1. 날씨 자료들 API - 미래에 대한 데이터만 있으면 될 거 같음. 우리나라에서 사용하던 동네예보랑 중단기예보가 2020년..

주제 선정

후보 출산율 + 대학진학 - 너무 흔해서 x 외국인토지보유현황 - 자료 부족으로 x v-nomics + 소비 - 자료 추출이 애매해서 x 문화예술관람률 - 소비와 엮을려고 했는데 뻔해서 x IT산업별 클라우드 서비스 도입 현황 - 공격 위험성이 있어 x (유력후보) 기사와 주식의 연관성 - 주식을 잘 모르는 사람도 있어 주식까지 공부하기에는 시간 부족으로 x 기사의 긍정/부정 NLP를 분석하여 기사가 주식에 영향이 있는지 (유력후보 -> 선정) 모기예보 - 신선한 주제, 적당한 데이터양 서울시가 제공하는 모기예보의 아쉬운 점 보완 이전 날씨의 데이터와 모기예보의 통계를 근거로 모기 개체수 예측