반응형

분류 전체보기 72

[웹 크롤링] 페이지 다운과 이미지 크롤링

페이지 다운을 이용해서 유튜브에서 영상의 제목, 조회수 크롤링 from selenium import webdriver as wb from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup as bs import pandas as pd import time # 1. 크롬 드라이버를 실행해서 유튜브 화면 실행 driver = wb.Chrome() url="https://www.youtube.com/results?search_query=%EC%82%AC%EB%82%98%EA%B3%A0" driver.get(url) 페이지 다운 Keys.PAGE_DOWN 컴퓨터가 페이지 스크롤을 내릴수있게 해준다. 아래는 유튜브의 영상 제목과 영상..

[웹크롤링] Selenium 모듈과 tqdm라이브러리

라이브러리랑 모듈의 차이 모듈이란 함수나 변수 또는 클래스를 모아 놓은 파일이다. 모듈은 다른 파이썬 프로그램에서 불러와 사용할 수 있게끔 만든 파이썬 파일이라고도 할 수 있다. 다른 사람들이 이미 만들어 놓은 모듈을 사용할 수도 있고 우리가 직접 만들어서 사용할 수도 있다. 파이썬 라이브러리는 파이썬을 설치할 때 자동으로 설치되는 파이썬 모듈을 말한다. Selenium 모듈 웹페이지를 제어하기 위한 모듈 selenium모듈은 설치가 따로 필요하다. !pip install selenium 를 주피터노트북에 넣어 실행하면 설치가 된다. selenium모듈에 있는 함수들을 임폴드해주자! webdriver = 웹페이지를 제어하기 위한 모듈 >> 웹 그자체가 됨! Keys = 컴퓨터의 키보드와 같은 역할 모듈,..

[머신러닝] 머신러닝의 개념과 과정

Rule-based expert system (규칙 기반 전문가 시스템) 'if' 와 'else'로 하드 코딩된 명령을 사용하는 시스템 단점: 많은 상황에 대한 규칙들을 모두 만들어 낼 수 없다 제작한 로직이 특정 작업에만 국한된다. 작업이 조금만 변경되더라도 전체 시스템을 다시 만들어야 할 수 있다 규칙을 설계하려면 해당 분야에 대해서 잘 알고 있어야한다 규칙기반 전문가 시스템은 규칙을 사람이 만들어 내는 거라면 머신러닝은 규칙을 기계가 만든다. 머신러닝의 개념 데이터를 기반으로 학습을 시켜 예측하게 만드는 기법 학습을 통해 기계가 스스로 규칙을 만들어 낸다 데이터를 이용하여 특성과 패턴을 학습하고, 그 결과를 바탕으로 미지의 데이터에 대한 미래결과(값, 분포)를 예측하는 것이다 인공지능의 한 분야로 ..

[Data Science] numpy라이브러리 사용하기 [스마트인재개발원]

numpy 라이브러리 고성능 과학계산을 위한 데이터분석 라이브러리 (연산속도가 빠름) import numpy as np 임폴트할때 일반적으로 np로 줄여쓴다. numpy.ndarray 클래스 동일한 자료형을 가지는 값들이 배열 형태로 존재 N차원 형태로 구성이 가능 각 값들은 양의 정수로 색인(index)이 부여되어 있다. numpy에서 차원을 rank, axis라고 부르기도 한다 ndarray를 줄려서 array로 표현한다. numpy.ndarray 클래스로 배열 생성하는 방법 # np.array로 1차원 배열생성 list1 = [1, 2, 3, 4, 5] arr = np.array(list1) print(arr) # np.array로 2차원 배열생성 arr2 = [[1,2,3], [4, 5, 6]] ..

[웹 크롤링]Requests 와 BeautifulSoup 라이브러리로 페이지 정보 가져오기 [스마트인재개발원]

Requests 라이브러리 Requests 라이브러리는 페이지에 정보를 요청할 때 사용한다. import requests as rep 로 임 폴트 하고 앞으로 rep로 줄여서 사용할 거다. req.get('주소') : 를 사용해서 페이지를 받아온다. res = req.get('주소')로 받아온 페이지를 변수에 담아주고 res.text를 하면 요청한 페이지의 정보를 볼 수 있다. import requests as req # 네이버 페이지를 요청 res = req.get("https://www.naver.com/") # req.get("https://www.naver.com/")의 결과 창이 # ,로 뜨는데 아래와 같은 뜻이다. # : 페이지를 잘 받아왔다는 사인 # : 응답을 할 수 없습니다. # 요청한 ..

[Data Science] 데이터 사이언스 프로세스

데이더 사이언스에는 대략적으로 다음과같은 단계들이 있다. 문제 정의하기 데이터 모으기 데이터 다듬기 데이터 분석하기 데이터 시각화 및 커뮤니케이션 1. 문제 정의하기 해결하고자 하는 문제를 정의한다 목표설정 기간설정 평가방법 설정 필요한 데이터 설정 2. 데이터 모으기 필요한 데이터를 모을 수 있는 방벙을 찾는다. 웹 크롤링 자료모으기 파일 읽고 쓰기 3. 데이터 다듬기 데이터의 퀄리티를 높여서 의미있는 분석이 가능하게끔 한다. 데이터 관찰하기 데이터 오류 제거 데이터 정리하기 4. 데이터 분석하기 준비된 데이터로부터 의미를 찾는다. 데이터 파악하기 데이터 변형하기 통계분석 인사이트 발견 의미 도출 5. 커뮤니케이션 분석 결과를 다른 사람들에게 전달한다 다양한 시각화 커뮤니케이션 리포트

[HTML/CSS] background 이미지 넣기

background-image: url('이미지 주소'); 로 이미지를 넣는다. background-repeat : 배경 이미지 패턴 repeat : 가로 세로 반복적으로 배열, 기본값 repeat-x : 이미지가 가로로만 반복 repeat-y : 이미지가 세로로만 반복 no-repeat : 이미지가 반복 배열되니 않는다. background-size 속성 : 배경이미지 크기 지정 auto : 기본값으로 배경 이미지 원래의 폭과 너비 그대로 표시한다. cover : 배경지역이 배경이미지로 완전히 덮이도록 이미지를 최대한 크게해서 표시한다. 따라서 이미지의 일부분이 안보일 수 있다. contain : 너비와 높이가 내용 안쪽에 알맞은 방식으로 이미지를 가장 크게 조절한다. inital : 기본값으로 초기화..

HTML\CSS\JS 2021.05.31

[HTML/CSS] float속성 개념과 예시

float속성 정렬을 하기 위해 사용된다. none : 정렬X left : 왼쪽 정렬 right : 오른쪽으로 정렬 inital : 기본값으로 설정함 inherit : 부모요소로부터 상속한다 *절대 위치 요소는 float속성을 무시한다.* clea속성 : float속성값의 영행을 받지않는 속성 left : left만 무시 right : right만무시 both: 둘다 무시 float 예시1 See the Pen float by 정혜선 (@Diligent-milk) on CodePen. float 예시2 See the Pen float2 by 정혜선 (@Diligent-milk) on CodePen. float 예시3 See the Pen RwpjdpV by 정혜선 (@Diligent-milk) on Co..

HTML\CSS\JS 2021.05.31

[HTML/CSS] position속성 개념 및 예시

position 속성 static : 모든 태그들의 기본 상태 relative : 태그의 위치를 살짝 변경하고 싶을 때 사용, static인 상태를 기준으로 주어진 픽셀만큼 움직인다. absolute : position: static 속성을 가지고 있지 않은 부모를 기준으로 움직인다. 만약 부모 중에 포지션이 relative, absolute, fixed인 태그가 없다면 가장 위의 태그(body)가 기준이다. fixed : 항상 특정 위치에 고정 position 예시1 See the Pen position by 정혜선 (@Diligent-milk) on CodePen. position 예시2 아래 예시에서 다음과 같은 코드를 썼는데 right: 0 ----> 오른쪽 끝으로 배치 bottom: 0 --->..

HTML\CSS\JS 2021.05.31

[HTML/CSS] line-height 속성

line-height 속성 줄 간격 지정 한줄일 경우에만 가운데 정렬을 한다. 속성 값 nomal : 기본값 보통 1.0~1.2 숫자 : 현재 글꼴 크기 * 배수이다. 예를 들어 현재 글꼴 크기가 10px이고 line-height:1.5이면 줄간격은 15px가 된다. 길이 : px, pt, cm등 고정된 간격 % : 현재 글꼴 크기의 백분율로 높이를 지정 상속 여부 : 상속 됨 음수값은 지정되지 않는다. font 속성과 동시에 줄간격 속성을 지정할 수 있다. 이때는 font: 1px/1.5 이런식으로 표시한다. line-height 예시 See the Pen line-height by 정혜선 (@Diligent-milk) on CodePen.

HTML\CSS\JS 2021.05.31
반응형