16 августа — 20 августа.
После того, как я узнал больше о машинном обучении и основах глубокого обучения, последовал веб-скрейпинг. Web Scraping — важная часть Data Science для применения любого метода, модели или операции, в которой нам нужны данные. С помощью парсинга веб-страниц мы можем извлечь данные с веб-сайта, будь то новостная статья или какое-либо изображение.
Шаги для парсинга веб-страниц
- Найдите URL-адрес, который вам нужно очистить
- Осмотрите страницу
- Найдите данные, которые хотите извлечь
- Написать код
- Запустите код и извлеките данные.
from
selenium import
webdriver from
BeautifulSoup import
BeautifulSoup import
pandas as pd
driver =
webdriver.Chrome("/usr/lib/chromium-browser/chromedriver")
products=[] #List to store name of the product
prices=[] #List to store price of the product
ratings=[] #List to store rating of the product
driver.get("<a href="https://www.flipkart.com/laptops/">https://www.flipkart.com/laptops/</a>~buyback-guarantee-on-laptops-/pr?sid=6bo%2Cb5g&amp;amp;amp;amp;amp;amp;amp;amp;uniq")
content =
driver.page_source soup =
BeautifulSoup(content) for
a in
soup.findAll('a',href=True, attrs={'class':'_31qSD5'}): name=a.find('div', attrs={'class':'_3wU53n'}) price=a.find('div', attrs={'class':'_1vC4OE _2rQ-NK'}) rating=a.find('div', attrs={'class':'hGSR34 _2beYZw'}) products.append(name.text) prices.append(price.text) ratings.append(rating.text)
df =
pd.DataFrame({'Product Name':products,'Price':prices,'Rating':ratings}) df.to_csv('products.csv', index=False, encoding='utf-8')
Помимо всего этого, мы продолжили наше путешествие по математике: параметрические уравнения для линий и кривых, частные производные.
В машинном обучении мы сделали реализацию линейной регрессии, матрицу путаницы, отзыв, кривую ROC.