CDW (Coding Discussion World)

python selenium을 통해 대표 포털 사이트(네이버,구글,daum,zum,bing) 자동 검색하기를 해보고자 한다. selenium은 4버전 이상으로 한다. 1. Naver from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time url = 'https://www.naver.co.kr' options = webdriver.ChromeOptions() options.add_argument('start-maximized') driver = webdriver.Chrome('chromedriver.exe', options..

이번편은 random.choice를 활용한 load 분배를 해보려고 한다. X라는 리스트에 네이버, 카카오, 구글이 있다고 가정했을 때 랜덤한 값을 뽑으러면 random.choice(X)를 하면 된다. 그런데 네이버, 카카오, 구글을 5:3:2의 비율로 뽑고 싶다면 어떻게 하면 될까? 방법이야 많겠지만 아래처럼도 할 수 있다. 우선 주소 옆에 capa(비율)을 설정해보자. import random url = [ ['네이버',5], ['카카오',3], ['구글',2], ] 그 뒤에 url_total 이라는 변수를 만들고 미리 지정한 숫자만큼 변수에 데이터를 담는다 url_total = [] for i in url: for j in range(0,i[1]): url_total.append(i[0]) prin..

python selenium을 활용한 크롤링에 대해서 알아보고자 한다. 크롤링은 다들 많이 들어봤을거라고 생각한다. 크롬 등 웹에서 반복적으로 수행하는 일을 자동화 할수도 있고, 특정 게시글의 제목을 다 추출한다던가, 그림을 추출한다던가 응용하면 웹에서 반복적으로 수행해야 하는 일들을 자동화하기에 좋다. (이전 글중에 appium 을 통한 스마트폰 자동화랑 비슷하다) 우선 selenuim을 설치해보자. 이번편은 기본에 대해서 배울 것이므로 특별한 버전 없이 설치해도 무방하다. (신규 버전부터는 find_element_by_css_selector 등 기본적인 내용이 많이 바뀌었다. pip list로 selenium 버전이 4 이상이라면 3버전으로 설치하는것이 좋다 또는 pip list --outdated)..

지난 장에서는 USB를 통해 PC~스마트폰과의 연결을 진행하였다. *이전편 2022.05.16 - [Python/Do something] - python - Appium 으로 스마트폰 무선 연동하고 컨트롤하기 - 3 python - Appium 으로 스마트폰 무선 연동하고 컨트롤하기 - 3 이전 편에서 PC환경 구축을 위한 기본적인 세팅은 완료했고, 이제 appium server 및 doctor 설치를 하고 PC와 스마트폰을 연결하고자 한다. 혹시 PC 환경 구축이 끝나지 않았다면 이전 글을 참고하시길 pymin.tistory.com 이번 장에서는 wifi를 통한 PC~스마트폰과의 연결을 해보고자 한다. 스카트폰의 개발자 옵션에서 무선 디버깅을 클릭한다. 이때 스마트폰이 wifi를 잡고 있어햐만 무선 디..

이전 편에서 PC환경 구축을 위한 기본적인 세팅은 완료했고, 이제 appium server 및 doctor 설치를 하고 PC와 스마트폰을 연결하고자 한다. 혹시 PC 환경 구축이 끝나지 않았다면 이전 글을 참고하시길 바랍니다. *이전편 참고 2022.05.16 - [Python/Do something] - python - Appium 으로 스마트폰 무선 연동하고 컨트롤하기 - 2 python - Appium 으로 스마트폰 무선 연동하고 컨트롤하기 - 2 이전 편에서 PC환경 구축을 위해 JDK와 Android SDK 설치를 진행했고 이번 편에서는 Appium 설치를 하려고 한다. *JDK와 Android SDK 설치가 궁금하다면 아래 내용 참고 2022.05.15 - [Python/Do something..

이전 편에서 PC환경 구축을 위해 JDK와 Android SDK 설치를 진행했고 이번 편에서는 Appium 설치를 하려고 한다. *JDK와 Android SDK 설치가 궁금하다면 아래 내용 참고 2022.05.15 - [Python/Do something] - python - Appium 으로 스마트폰 무선 연동하고 컨트롤하기 - 1 1) Java JDK 설치 및 환경 변수 설정 2) Android SDK 설치 및 환경 변수 설정 3) Appium 설치 4) Node.js 설치 3) appium설치를 위해 아래 사이트로 이동후 'Downlaod appium'을 클릭한다. http://appium.io/ (아니면 바로 github로 이동해도 된다. https://github.com/appium/appium..

이번에는 Appium을 통해 PC ~ 스마트폰을 연결하고 스마트폰을 자동으로 컨트롤해서 app등을 실행시키고 결과를 가져오고자 한다. Appium을 통해 스마트폰을 컨트롤하기 위해서는 아래 순서로 진행이 필요하다. 1. PC 환경 구축 (Java JDK, Android SDK, Appium 설치 등) 2. PC~스마트폰 간에 adb 연결 (USB를 통한 연결, Wi-fi를 통한 연결, 기타 무선 방법을 통한 연결) 3. adb 연결 이후 파이썬 스크립트를 통한 스마트폰 컨트롤 및 로그 수집 먼저 PC 환경 구축이다. PC 환경 구축을 위해서는 아래 프로그램 설치 및 환경 변수(PATH) 설정이 필요하다. 1) Java JDK 설치 및 환경 변수 설정 2) Android SDK 설치 및 환경 변수 설정 3..

어떤 서버에 접속해서 API Request로 정보(JSON 형식)를 긁어온다음에 다시 주기적으로(1분 등) DB에 넣고자 한다. curl을 통해서 Request를 날릴 예정인데 그냥 JSON 형식을 가공하는것만 봐도 좋을 듯 하다. ​ 우선 curl로 request를 날리면 아래와 같이 response 가 온다고 가정한다. 복잡하다.. JSON 형식인데 어떤 형태인지 정리가 안된다. 이럴떄는 JSON 형식을 알아보기 쉽게 변환해보자. 변환할떄는 구글에 'JSON 형식 변환' 이런식으로 검색하면 많이 나온다. 우선 아래 링크를 통해서 변환하고자 한다. http://json.parser.online.fr/ ​ ㅇ 변환전은 아래처럼 복잡하다. {"performances":[{"performance_metric..