(3) [Python/NLP] 텍스트 전처리

(3) [Python/NLP] 텍스트 전처리

이전 글에서 KCI에서 제공하는 OpenAPI를 사용해 데이터를 받아오는 작업까지 했다. 이번 글에서는 받아온 데이터를 모델이 학습할 수 있도록 전처리 해 볼 것이다. ​ 1. XML을 DataFrame으로 변환하기 우선 받아온 데이터의 태그를 살펴보자 여기서 내가 쓰려고 하는 태그명만 따로 name_list에 저장하고 해당 태그의 내용을 data_list에 담아 저장했다. # 데이터 확인 후 필요한 열만 리스트화 하여 정보 추출 name_list = [ 'pub-year' ,'pub-mon' ,'article-title-original' ,'article-title-english' ,'author' ,'abstract-original' ,'abstract-english' ,'url' ] data_lis..

  • format_list_bulleted 💻 PROJECTS/논문 분석하기
  • · 2022. 6. 29.
  • textsms
(2) [Python/Colab] KCI Open API 사용하기

(2) [Python/Colab] KCI Open API 사용하기

​ 이제 발급받은 인증키로 KCI Open API를 사용해봅시다! 저는 구글에서 제공하는 colaboratory를 사용했어요 ​ ​ 1. 필요한 모듈 받아오기 ​ API로 요청을 보내고 나면 xml 형식으로 응답이 오기 때문에 응답을 처리하여 출력하기 위한 모듈들을 받아옵니다. # 라이브러리 import import requests # API 요청 보내기 위함 import pprint # xml 출력 확인 import urllib # url 관련 작업 ​ 2. API 요청하기 요청할 내용을 정합니다. key에는 발급받은 KCI 인증키를 입력합니다. 저는 코로나를 검색해보겠습니다. 검색할 단어를 URL로 인코딩 해서 URL을 만든 뒤 API 요청을 보냅니다 # url 입력 key = # KCI API 키 ..

  • format_list_bulleted 💻 PROJECTS/논문 분석하기
  • · 2022. 6. 29.
  • textsms
(1) [OpenAPI] KPI Open API 인증키 발급받기

(1) [OpenAPI] KPI Open API 인증키 발급받기

논문을 검색하면 키워드 기준으로 정말 다양한 주제의 논문들이 조회된다. 그렇게 조회되는 다양한 주제의 논문들을 비슷한 것들 끼리 모아서 보는 것이 하고 싶다! 웹크롤링을 고려해보기도 했지만 웹크롤링은 불법으로 간주된다고 한다. (참고: https://brunch.co.kr/@8d1b089f514b4d5/33) 알아본 것이 KCI Open API 였다 1. KCI API 인증키 발급받기 한국학술지인용색인(KCI; KOREA CITATION INDEX)은 국내 학술지 정보, 논문 정보 (원문) 및 참고문헌을 DB화하여 논문 간 인용관계를 분석하는 시스템입니다. 링크: https://www.kci.go.kr/kciportal/main.kci 회원가입을 하고 로그인 > 상단의 메뉴에 '정보마당' > 카드 메뉴의..

  • format_list_bulleted 💻 PROJECTS/논문 분석하기
  • · 2022. 6. 29.
  • textsms
NodeMCU와 Azure iot-Hub 연결

NodeMCU와 Azure iot-Hub 연결

사용 모듈 NodeMCU(ESP8266) [SZH-WFBB-017] 1. Azure IoT Hub 만들기 https://docs.microsoft.com/ko-kr/azure/iot-hub/iot-hub-create-through-portal Azure Portal을 사용하여 IoT Hub 만들기 Azure Portal을 통해 Azure IoT Hub를 만들고 관리하고 삭제하는 방법입니다. 가격 책정 계층, 보안, 배율 및 메시징 구성에 대한 정보가 포함됩니다. docs.microsoft.com 2. 디바이스 새로 등록 후 기본 문자열 복사 3. Arduino IDE를 열고 NodeMCU를 컴퓨터와 연결 4. 필요한 라이브러리를 설치 - AzureIoTHUb - AzureIoTUtility - Azure..

  • format_list_bulleted 💻 PROJECTS/NodeMCU
  • · 2020. 6. 26.
  • textsms
[아두이노를 활용한 데이터 입출력] 4. 코드 작성, 하드웨어 구성

[아두이노를 활용한 데이터 입출력] 4. 코드 작성, 하드웨어 구성

앞에서 공부한 내용을 바탕으로 코드를 작성했다. 1. 4개의 LED로 구현한 2진 카운터 delay() 함수 대신 millis() 함수를 이용하여 counter_time_previous, counter_time_current를 비교해서 1초의 시간 간격마다 카운터를 1씩 증가하도록 만들었다. 따로 counterLED()함수를 만들어 카운터에 해당하는 숫자를 boolean형으로 만들어 LED로 2진 표현을 할 수 있도록 하였다. 또한 4자리 이진수는 15가 최대이므로, counter가 16이 되면 0으로 초기화시키도록 했다. 2. 가변저항을 이용하여 아날로그값 읽기 아날로그 입력을 할 수 있는 핀 A0을 가변저항을 위한 핀으로 정의해뒀다. analogRead()함수를 이용하여 가변저항의 값을 얻어 그 값을..

  • format_list_bulleted 💻 PROJECTS/아두이노
  • · 2020. 6. 4.
  • textsms
[아두이노를 활용한 데이터 입출력] 3. 서보모터

[아두이노를 활용한 데이터 입출력] 3. 서보모터

모터는 전기 에너지를 운동 에너지로 변환하여 회전력을 얻는 기기이다. 그 중 프로젝트에 사용할 서보모터는 DC모터에 귀환제어 회로를 더하여 정밀 제어가 가능한 모터이다. 회전 각도 표준 서보 모터는 0~180도 사이만 회전이 가능하고, 연속 회전 서보 모터는 무한 회전이 가능하다. PWM 신호를 이용한 제어 50Hz PWM 신호 사용: 20ms 주기 1ms pulse (1/20 = 5% 듀티비)에서 0도 회전 2ms pulse (2/20 = 10% 듀티비)에서 180도 회전 연결선 VCC: 붉은색 GND: 검정색 또는 갈색 제어선(위치 설정): 노란색, 주황색 또는 흰색 (PWM 출력이 가능한 핀에 연결해야함) 사용 방법 라이브러리 포함 #include 제어핀 연결 myServo.attach(servoP..

  • format_list_bulleted 💻 PROJECTS/아두이노
  • · 2020. 6. 3.
  • textsms
728x90