2025-03-29, 19:07
  #1
Medlem
526s avatar
till json, xhtml, eller likande?

Skulle vara intressant att låta AI analysera vissa diskussioner.
Citera
2025-03-29, 19:12
  #2
Medlem
IRMEs avatar
Citat:
Ursprungligen postat av 526
till json, xhtml, eller likande?

Skulle vara intressant att låta AI analysera vissa diskussioner.
Varför skulle du inte kunna hämta hem sidan och parsa informationen? Känns enkelt.
Citera
2025-03-29, 19:21
  #3
Medlem
526s avatar
Citat:
Ursprungligen postat av IRME
Varför skulle du inte kunna hämta hem sidan och parsa informationen? Känns enkelt.
Krångligt att göra det rekursivt, dvs att den ska ladda ner alla sidor i en tråd.
Citera
2025-03-29, 19:39
  #4
Medlem
IRMEs avatar
Citat:
Ursprungligen postat av 526
Krångligt att göra det rekursivt, dvs att den ska ladda ner alla sidor i en tråd.

Vill man få det gjort så är det nog ett en-dags projekt. Nu var det länge sen jag kodade, men jag minns jag gjorde bottar/skript för att navigera och läsa av olika hemsidor när det begav sig med onlinespel.

Du behöver ju egentligen bara hitta informationen du vill läsa in, och sen ladda in nästa sida. Du verkar vilja hitta div-taggarna <div class="post_message" id="post_message_#######"> för texten, (sen vet jag inte om du vill ha info från användarna också), och sen en länk i
li taggen som heter <li class="next"> för att ladda nästa sida.

Men ja, kanske lite för gammal typ av lösning, idag kanske man bara kan fråga chatgpt så får du ett skript klart.


Obs - ingen rekursion krävs.
Citera
2025-03-29, 19:42
  #5
Medlem
526s avatar
Citat:
Ursprungligen postat av IRME
Vill man få det gjort så är det nog ett en-dags projekt. Nu var det länge sen jag kodade, men jag minns jag gjorde bottar/skript för att navigera och läsa av olika hemsidor när det begav sig med onlinespel.

Du behöver ju egentligen bara hitta informationen du vill läsa in, och sen ladda in nästa sida. Du verkar vilja hitta div-taggarna <div class="post_message" id="post_message_#######"> för texten, (sen vet jag inte om du vill ha info från användarna också), och sen en länk i
li taggen som heter <li class="next"> för att ladda nästa sida.

Men ja, kanske lite för gammal typ av lösning, idag kanske man bara kan fråga chatgpt så får du ett skript klart.


Obs - ingen rekursion krävs.
Jo - men jag tänker om det finns en enklare lösning?
Citera
2025-03-29, 20:14
  #6
Medlem
Kan du inte bara kopiera länken till tråden och be ai gå igenom den sen efter diskutera ?
Citera
2025-04-02, 01:35
  #7
Medlem
Mr.RedHats avatar
Citat:
Ursprungligen postat av 526
Jo - men jag tänker om det finns en enklare lösning?
Du får kika i denna tråd: (FB) Söka smidigt med AI? så får du lite vägledning. Eftersom Flashback inte erbjuder något API behöver du bygga en scraper. Det enklaste är att låta ChatGPT eller motsvarande generera en rekursiv parser i Python (requests + BeautifulSoup) som laddar ner varje trådsida och sparar innehållet som JSON eller ren text.

Några konkreta tips
  • Loop tills sidan=-parametern inte längre returnerar inlägg
  • Filtrera bort banners, citat och signaturer om du vill ha "ren dialog"
  • Tänk på att vissa trådar är 500+ sidor långa - så throttla eller cachea klokt. Alternativt kan du lägga in en statisk delay för enklare kod, men det gör förstås att skriptet tar längre tid att köra.
__________________
Senast redigerad av Mr.RedHat 2025-04-02 kl. 01:37.
Citera
2025-04-02, 18:45
  #8
Medlem
526s avatar
Citat:
Ursprungligen postat av Mr.RedHat
Du får kika i denna tråd: (FB) Söka smidigt med AI? så får du lite vägledning. Eftersom Flashback inte erbjuder något API behöver du bygga en scraper. Det enklaste är att låta ChatGPT eller motsvarande generera en rekursiv parser i Python (requests + BeautifulSoup) som laddar ner varje trådsida och sparar innehållet som JSON eller ren text.

Några konkreta tips
  • Loop tills sidan=-parametern inte längre returnerar inlägg
  • Filtrera bort banners, citat och signaturer om du vill ha "ren dialog"
  • Tänk på att vissa trådar är 500+ sidor långa - så throttla eller cachea klokt. Alternativt kan du lägga in en statisk delay för enklare kod, men det gör förstås att skriptet tar längre tid att köra.
Tack
Citera
2025-04-02, 22:11
  #9
Moderator
Maviels avatar
Flashback --> Övriga dator- och IT-diskussioner
/Moderator
Citera
2025-04-03, 11:19
  #10
Moderator
MondoBizarros avatar
Övriga dator- och IT-diskussioner --> Webbutveckling och javascript
/Moderator
Citera
2025-04-03, 16:00
  #11
Medlem
Enterprises avatar
Citat:
Ursprungligen postat av IRME
Vill man få det gjort så är det nog ett en-dags projekt. Nu var det länge sen jag kodade, men jag minns jag gjorde bottar/skript för att navigera och läsa av olika hemsidor när det begav sig med onlinespel.

Du behöver ju egentligen bara hitta informationen du vill läsa in, och sen ladda in nästa sida. Du verkar vilja hitta div-taggarna <div class="post_message" id="post_message_#######"> för texten, (sen vet jag inte om du vill ha info från användarna också), och sen en länk i
li taggen som heter <li class="next"> för att ladda nästa sida.

Men ja, kanske lite för gammal typ av lösning, idag kanske man bara kan fråga chatgpt så får du ett skript klart.


Obs - ingen rekursion krävs.
Det är inget endagsprojekt. Skulle ta mig en timme på sin höjd (utan AI-hjälp).
Och som du skriver behövs absolut ingen rekursion.
MrRedHat har kommit med ett lämpligt förslag. Även om min första instikt var att göra ett snabbt skript i Console.
__________________
Senast redigerad av Enterprise 2025-04-03 kl. 16:03.
Citera

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in