#크롤링 - 모아요넷

파이썬클래스

www.youtube.com

가장 쉬운 프로그래밍 언어, 파이썬을 배워보자! 파이썬이라고 하면 (개발자들끼리는) 가장 배우기 쉬운 언어라고 하는데요. 워낙 합리적이고 직관적으로 구성돼 있어서 1991년 개발된 이후 계속 그 영역을 넓혀 이젠 C언어나 PHP의 아성을 넘보고 있디고까지 합니다. 처음 개발을 배우기 시작할 때 파이썬으로 시작하는 곳들도 점점 많다고 하고요. 물론 기본적으론 프로그래밍 언어이기 때문에 개발자 입장에서 쉽다는 것인지, 문돌이들한테는 여전히 장벽이 있긴 한데요. 그럼에도 파이썬을 실제로 배워보고 싶은 욕심이 생기는 분들 많이 계실 걸로 압니다. 이런 분들을 위한 실전형 매뉴얼을 소개해주는 유튜브 채널 '파이썬클래스'를 소개합니다. https://www.youtube.com/c/파이썬클래스 오직 파이썬만 강의하고 있는데요. 과거 유행했던 '무작정 따라하기' 시리즈처럼 여기서 강의하시는 분의 가르침을 하나씩 하나씩 따라하다 보면 정말 쉽게 파이썬을 배울 수 있을 것 같아요. 파이썬은 개발속도가 빠르고 생태게도 거대하고 가르치기도 편하다고 알려져 있습니다. 뭐 전문적인 이야기로 가면 구현체, 순수 객체 지향 등 문돌이들은 잘 모르겠는 여러 용어들이 계속 나오는데요. 그런 건 뭐 천천히 알아가면 되겠지요. 유튜브를 보니 파이썬 기초부터 차근차근 시작하고 있는데요. 개념들 등 관련 기초를 우선 차근차근 쌓을 수 있는 것 같아서 좋아 보입니다. 물론 '원하는 키워드로 뉴스기사 목록 가져오기', '겨울왕국2 영화평저 댓글 크롤링해서 엑셀로; 등 실전형 강의들도 있고요. 개발자에 관심이 있다면, 파이썬클래스에서 파이썬으로 한 번 시작해 보시는 게 어떨까요?

#프로그램 #매크로 #크롤링 #파이썬 #자동화 #파이썬클래스 #파이썬강의 #업무자동화 #코딩입문

게시글

네이버에서 환율시세 크롤링해서 활용하기(3)

환율 정보를 크롤링한 내용을 가지고 구글 챠트를 활용해 그래프를 그리는 소스입니다 구글챠트 https://developers.google.com/chart 달러리치 블로그 https://m.blog.naver.com/boot/222430430028 추후에 더 정리해 유용한 보조지표로 사용할 계획입니다

#구글 #크롤링 #시세 #환율 #챠트 #그래프 #구글챠트 #구글차트 #환율차트 #GoogleCharts #환율그래프 #데이터시각화

게시글

네이버에서 환율시세 크롤링해서 활용하기(2)

네이버의 환율 정보를 크롤링 하는 프로그램입니다 php 로 작업 되어 있으며 새로 고침 할때만 크롤링 되는 문제를 해결하기 위해 리눅스 크론탭을 활용하였습니다 크론탭은 스케쥴 관련 데몬으로 특정 시간에 프로그램이 작동되게 해주는 데몬입니다 크론에서 다이렉트로 php 파일을 실행하면 좋겠지만 실행되지 않아 크론에서는 쉘스크립트를 실행해주고 쉘스크립트에서는 php 파일을 실행시켜주는 형태로 작업이 되어 있습니다 작업전 준비 작업 입니다 -환율 정보를 가져올수 있는 페이지 https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_USDKRW 주소 내에 iframe 형태로 일별시세페이지가 존재함 https://finance.naver.com/marketindex/exchangeDailyQuote.naver?marketindexCd=FX_USDKRW&page=1 해당주소에서 크롤링함 -외부환율 정보를 크롤링할 php 파일작업 -php 파일을 실행할수 있는 sh 스크립트파일 작업 -cron에 sh(쉘스크립트) 실행 스케줄 추가

#php #크롤링 #크론 #cron #네이버 #환률 #자동 #스케줄 #크론탭 #네이버금융 #환율크롤링 #쉘스크립트

게시글

네이버에서 환율시세 크롤링해서 활용하기(1)

프로그램 개발할때 환율 정보가 필요할 때가 있습니다 이때 활용하는 방법입니다 네이버의 환율정보를 PHP로 크롤링해 mysql에 입력하는 방법입니다 동작원리는 외부에 있는 환율정보 페이지를 반복적으로 리다이렉트해 크롤링하여 입력하는 로직입니다 크롤링주소 https://finance.naver.com/marketindex/exchangeDailyQuote.naver?marketindexCd=FX_USDKRW&page=1

#Mysql #크롤링 #환율 #환율시세 #네이버금융 #환율크롤링 #PHP크롤링 #웹크롤링

게시글

주소로 파일 내용을 가져오는 함수

외부의 특정 파일의 내용을 그대로 불러오고 싶을때가 있다 물론 .php 파일같은경우 원본 파일을 불러오는게 아닌 php부분이 실행된 이후의 결과 페이지를 가져올수 있다 .txt파일등 다른 여러파일도 동일하다 $file=file_get_contents("파일명"); 해당 파일명의 내용을 $file로 대입해서 사용할수 있다 그런데 이때 모든 홈페이지의 내용을 사용할수 있는건 아니다 간혹 보안을 목적으로 외부에서 내용을 가져가지 못하도록 막아 놓는 사이트가 있다 그러나 자신의 ftp경로의 있는내용을 별무리 없어 가져와 사용할수가 있다

#프로그램 #php #소스 #크롤링 #file_get_contents #PHP함수 #외부파일읽기 #웹페이지가져오기

게시글

외부의 xml 파일을 로딩하지 못하는 경우 처리 방법

www.moayo.net

.htaccess 파일에 추가 php_flag allow_url_fopen on 로딩페이지소스 ini_set('user_agent', $_SERVER[HTTP_USER_AGENT]); simplexml_load_file("http://도메인1.com/loding.xml"); xml파일을 로딩할때 사용하는 함수입니다 simplexml_load_file("loding.xml"); loding.xml 을 로딩해서 사용할수 있습니다 그런데 외부 주소의 xml 파일을 로딩할때 안되는경우가 있습니다 simplexml_load_file("http://도메인.com/loding.xml"); 이런식으로 http://도메인.com/loding.xml 외부 주소를 로딩할때 안되는경우가 있습니다 이때 외부에 있는 파일을 가져올수 있는지 확인을 해봐야 합니다 만약 사용할수 없게 되었다면 .htaccess 파일에 php_flag allow_url_fopen on 추가하면 사용가능해집니다 이랬는데도 아되는경우가 있습니다 예를 들어 simplexml_load_file("http://도메인.com/loding.xml");주소는 되는데 simplexml_load_file("http://도메인1.com/loding.xml");주소가 되지 않을때가 있습니다 모든 소스와 http://도메인.com/loding.xml http://도메인1.com/loding.xml 주소의 xml 도 동일한데 안될때는 http://도메인1.com 도메인에서 차단되는경우가 있습니다 이때 차단이유가 user_agent 부분때문인경우가 있습니다 클라이언트 브라우저 정보를 나타내는 부분인데 예를 들어 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36 이러한 정보입니다 이정보가 재대로 넘어가지 않을경우 정상처리 되지 않는경우가 있습니다 이부분을 처리하기위해선 ini_set('user_agent', $_SERVER[HTTP_USER_AGENT]); simplexml_load_file("http://도메인1.com/loding.xml"); 이렇게 넘기거나 ini_set('user_agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36'); simplexml_load_file("http://도메인1.com/loding.xml"); 직접값을 넣어 넘기는 방법이 있습니다 다시한번 정리하면 외부 xml파일이나 크롤링이 안될때 1).htaccess 파일에 php_flag allow_url_fopen on 추가 2)로딩하는 페이지에 ini_set('user_agent',$_SERVER[HTTP_USER_AGENT]) 를 추가해 user_agent 부분을 재정의 합니다 이렇게 해도 안되는경우 아이피,모듈등을 통해 막은 경우도 있긴합니다

#프로그램 #php #htaccess #xml #크롤링 #simplexml_load_file #allow_url_fopen #XML로딩 #user_agent