U+i/pddlZddlmZddlmZddlmZddlmZddlZddl Z de de fdZ Gd d Z y) N) BeautifulSoup)datetime) NewsModel)Sessiontitlereturnc|sydjt|jjj S)uKUnifica título para detectar duplicados (minúsculas, espacios repetidos). )joinstrstriplowersplit)rs O/var/www/pie360backend.cl/public_html/app/backend/classes/news_scraper_class.py_normalize_news_titler s6  88CJ$$&,,.446 77c*eZdZdefdZdZdZdZy)NewsScraperClassdbc ||_d|_y)Nz'https://especial.mineduc.cl/destacados/)rurl)selfrs r__init__zNewsScraperClass.__init__s<rc  ddddddddd d d d d }|jj}t|d}|djdd}t|djdd}|j |d}t |||}|S#t $r8} td|dt| t jcYd} ~ Sd} ~ wwxYw)ut Convierte fecha en español a datetime Ejemplo: "Martes 25 de Noviembre, 2025" -> datetime  ) enerofebreromarzoabrilmayojuniojulioagosto septiembreoctubre noviembre diciembre,r zError parseando fecha 'z': N) rrintreplacegetr Exceptionprintr now) rdate_strmesespartsdiames_straniomesresultes rparse_spanish_datez#NewsScraperClass.parse_spanish_dates  "q1qAQBRbENN$**,EeAh-CAh&&sB/GuQx''R01D))GQ'CdC-FM " +H:SQA B<<> ! "sBB C-C C Cc  tj||d}|jt|jd}d}|j dd}|sD|j d}|D].}|jd } | s| d vst| dkDs,|}n|s(|j d d xs|j d d}|r|jd }td |d|rt|dks|d vr tdy|j ddxs&|j dxs|j dd} d} | rS| j d} dj| D cgc]'} | jd s| jd )c} } | rt| dkryt| dkDr| dddzn| }d}|j ddxs|j dd}|s| r| j d}|s$|j d}|r|j d}|s|j d}|ri|jddxs&|jddxs|jd d}|r-|jd!s|jd"rd#|}nd$|}|sy||| |d%Scc} w#t$r$}td&|d't|Yd}~yd}~wwxYw)(zG Obtiene el detalle completo de una noticia individual r%headerstimeout html.parserr h1z entry-titleclass_Tr)uMinisterio de EducaciónuEducación Especialh2z post-titleuTítulo extraído: ''u0Título inválido o genérico, omitiendo noticiaNdivz entry-contentarticlecontentpz 2...imgzattachment-post-thumbnailz wp-post-imagesrczdata-srcz data-lazy-srchttp/zhttps://especial.mineduc.clzhttps://especial.mineduc.cl/)rshort_description descriptionimagezError obteniendo detalle de z: )requestsr7raise_for_statusrrRfindfind_allget_textlenr9r startswithr8r )rrrGresponsesoupr title_tagall_h1rJh1_textrRr] paragraphsrSr\ image_urlimg_tagrQrCs rget_news_detailz NewsScraperClass.get_news_detail2s \ ||C"EH  % % ' !1!1=ADE $} =It, B kkk5G72e#ejmnujvy{j{$&   IId|$))IBV|Z^ZcZcdir{ZcZ|GK$--c2 $kk:*paYZYcYcjnYcYo1::D:+A*pq #k"2R"7>A=MPS=S DS 1E 9Yd Iii.IiJvdiiX]fuiNvGw!,,u-))I.%ll51G))E*#KKr2ugkk*b6QuU\U`U`aprtUu Y%9%9&%A ++C0&A)$M &B9+$N %6*"  U+q`  0RAx@ A sWA?J5J5J5A1J5AJ5'J0?J0J5+C=J5)J50J55 K">KK"c ` ddi}tj|j|d}|jt |j d}|j dd}d }d }td t||D]} |j d d }d} |D]I} | jdd} | sd| vsd| jdgvs2d| jdgvsG| } n| sk|jdd} | r| jd nd} | r|j| nd}td| |j| |}|r|dstd| |d}|d}|d}|d}td|ddd t|}|jjt j#t j$|k(t j&d k(j)}|sv|rt|jjt j#t j&d k(j+}|D]"}t|j$xsd|k(s |}n|rtd!|ddd |d"z }td#|d$|t!d |||||r|nt-j.t-j.%}|jj1||jj3|d"z }td&|ddd td(|d) |jj9td*|jjt j#t j&d k(j;}td+|d-d.|d/|d0||d1S#t4$r"}td't7|Yd}~`d}~wwxYw#t4$r7}td,t7||jj=d}~wwxYw#tj>$r5}|jj=d2d3t7|d4cYd}~Sd}~wt4$r5}|jj=d2d5t7|d4cYd}~Sd}~wwxYw)6z\ Scraper para obtener noticias del MINEDUC y guardarlas en la base de datos z User-AgentzsMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36r%rFrIrPboxrKrzTotal de noticias encontradas: aT)hrefNrrr zespecial.mineduc.clthumbclassvermasspanfecharMzProcesando noticia: rzNo se pudo obtener detalle de: r\r]r^uTítulo encontrado: rTrWzNoticia ya existe: ruCreando noticia con título: 'z ' - Fecha: )deleted_status_idrr\r]r^ added_date updated_dateuNoticia agregada a la sesión: z%Error procesando noticia individual: zIntentando guardar z noticias en la base de datos...zCommit exitoso!u0Total de noticias en la BD después del commit: zError en commit: successzScraping completado. z noticias guardadas, z omitidas (duplicadas))statusmessagesavedskippederroru"Error al realizar petición HTTP: )r|r}zError en el scraping: ) r_r7rr`rrRrbr9rdrarcrDrnrrqueryrfilterrrxfirstallrr:addflushr8r commitcountrollbackRequestException)rrGrfrg news_boxes saved_count skipped_countrplinksrlinkrr fecha_tag fecha_str news_date news_detailrr\r]rlnorm existing_news candidatesrownew_newsrCrs r scrape_newszNewsScraperClass.scrape_newssF TG ||DHHgrJH  % % '!!1!1=ADuU;JKM 3C O3DE F!P OLL4L8EC %"#xx3$9T$AgUYU]U]^egiUjFjow@D@H@HIPRT@UpU"&C! " !$ @IBK 2 2 2 >QUIFO 7 7 BUYI067#'"6"6sG"DK&k'.B ?uEF '0E(34G(H%"-m"P)BN8P)*BO&* P)8 O#OP)O##P)& P&/2P!!P&&P))R-<*Q,&R-, R-8*R("R-(R-N)__name__ __module__ __qualname__rrrDrnrrrrrs =7=":`DJrr) r_bs4rrapp.backend.db.modelsrsqlalchemy.ormrlocalerer rrrrrrs9+" 888NNr