Скрипт парсинга веб-страниц для Anki

Я очень новичок в программировании. Изучаю Python, чтобы ускорить изучение языка с помощью Anki. Я хотел создать скрипт парсинга веб-страниц для Anki, чтобы быстрее создавать карты. Вот мой код: (Это не конечный продукт, в конце концов я хочу научиться отправлять в файл csv, чтобы затем импортировать в Anki.)

from bs4 import BeautifulSoup
import requests

#get data from user
input("Type word ")

#get page
page  = requests.get("https://fr.wiktionary.org/wiki/", params=word)

#make bs4 object
soup = BeautifulSoup(page.content, 'html.parser')

#find data from soup
IPA=soup.find(class_='API')
partofspeech=soup.find(class_='ligne-de-forme')

#open file
f=open("french.txt", "a")

#print text
print (IPA.text)
print (partofspeech.text)

#write to file
f.write(IPA.text)
f.write(partofspeech.text)

#close file
f.close()

Он возвращает только слово дня из Wikitionnaire, а не ввод пользователя. Любые идеи?


python anki
person Jock McJock    schedule 11.09.2020    source источник
comment
Привет ! Вы ищете инструмент для веб-переводов и создания с его помощью карты Anki?   -  person mlisthenewcool    schedule 11.09.2020
comment
Похоже, вы не обработали возвращаемое значение функции input("Type word ")?   -  person s3cret    schedule 11.09.2020
comment
Привет. В основном я просто искал сценарий Anki, который принимал бы французское слово, например. приветствие из поля карты Anki, затем получите IPA, часть речи и определение (я) из wiktionnaire и поместите их в ту же карту.   -  person Jock McJock    schedule 22.09.2020

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать следующий подход

(1) Прочитайте что-нибудь по-французски, отметьте на бумаге слова или предложения, которые вы хотите выучить.

(2) Запишите эти слова/предложения в файл {text, json, markdown, ...}.

(3) Читайте этот мир с помощью Python с обработкой ввода-вывода.

(4) Используйте anki-connect, который запускает веб-сервер для взаимодействия с вашей учетной записью Anki.

(5) Напишите скрипт Python для HTTP, отправьте введенное слово и соскребите ответ, например, на deepl.com.

(6) Объедините эти инструменты, чтобы добавить сеанс обучения в Anki одной командой.

(7) Приятного обучения!

Некоторый код

Анки-коннект

# https://github.com/FooSoft/anki-connect
# https://github.com/FooSoft/anki-connect/blob/master/actions/decks.md

import json
import urllib.request

def request(action, **params):
    return {'action': action, 'params': params, 'version': 6}

def invoke(action, **params):
    requestJson = json.dumps(request(action, **params)).encode('utf-8')
    response = json.load(urllib.request.urlopen(urllib.request.Request('http://localhost:8765', requestJson)))
    if len(response) != 2:
        raise Exception('response has an unexpected number of fields')
    if 'error' not in response:
        raise Exception('response is missing required error field')
    if 'result' not in response:
        raise Exception('response is missing required result field')
    if response['error'] is not None:
        raise Exception(response['error'])
    return response['result']

invoke('createDeck', deck='english-to-french')
result = invoke('deckNames')
print(f'got list of decks: {result}')

invoke('deleteDecks', decks=['english-to-french'], cardsToo=True)
result = invoke('deckNames')
print(f'got list of decks: {result}')

Поиск в Интернете с помощью scrapy

import scrapy


CODES = {
    'fr': 'french',
    'en': 'english'
}


URL_BASE = "https://www.linguee.com/%s-%s/translation/%s.html"

# these urls can come from another data file
# def get_data_from_file(filepath: string):
#   with open('data.json', 'r') as f:
#       lines = f.readlines()
# 
#   return [URL_BASE % (CODES['fr'], CODES['en'], line) for line in lines]
URLS = [
    URL_BASE % (CODES['fr'], CODES['en'], 'lascive')
]


class BlogSpider(scrapy.Spider):
    name = 'linguee_spider'

    start_urls = URLS

    def parse(self, response):
        for span in response.css('span.tag_lemma'):
            yield {'world': span.css('a.dictLink ::text').get()}

        for div in response.css('div.translation'):
            for span in div.css('span.tag_trans'):
                yield {'translation': span.css('a.dictLink ::text').get()}

Сценарий оболочки, завершающий все

#!/bin/bash

# setup variables
DATE=$(date +"%Y-%m-%d-%H-%M")
SCRIPT_FILE="/path/to/folder/script.py"
OUTPUT_FILE="/path/to/folder/data/${DATE}.json"
echo "Running --- ${SCRIPT_FILE} --- at --- ${DATE} ---"

# activate virtualenv and run scrapy
source /path/to/folder/venv/bin/activate
scrapy runspider ${SCRIPT_FILE} -o ${OUTPUT_FILE}
echo "Saved results into --- ${OUTPUT_FILE} ---"

# reading data from scrapy output and creating an Anki card using anki-connect
python create_anki_card.py
person mlisthenewcool    schedule 11.09.2020