Exportera forum genom scraping | Operativsystem / Program / Drivrutiner | Forum

A A A

Please consider registering
Guest

Search

— Forum Scope —




— Match —





— Forum Options —





Minimum search word length is 3 characters - maximum search word length is 84 characters

Lost password?
The forums are currently locked and only available for read only access
sp_Feed sp_TopicIcon
Exportera forum genom scraping
This topic is locked
Avatar
dreamweaver
Kommer du hit ofta?
Medlem
Forum Posts: 1220
Member Since:
maj 1, 2005
sp_UserOfflineSmall Offline
1
mars 7, 2014 - 8:30 f m
sp_Permalink sp_Print

Jag hänger på ett forum som är registrerat på forum24.se, men det forumet vill bryta sig loss från forum24. Problemet är

  • forum24 äger databasen (inte forumadmin) och får inte ge forumadmin en datadump enligt PUL (epostadresser främst).
  • När man registrerar sig som enskild användare ingår man ett avtal med forum24 där de ”snällt” lovar att inte ge ut datan till någon tredje part, inklusive forumadmin.

Så forumet sitter i en rävsax. Att skrapa forumet är ju ”ganska” lätt, men problemet landar snabbt i validering av konton< ->individ på det nya forumet. Epost-adresser listas inte publikt för skrapning.

Frågan är då, vad skulle den bästa planen vara för att genomföra en migrering? Min tanke är följande och här behöver jag input:
1. Skrapa ner allt, det man då har är (med andra ord det som syns):

  • Inlägg
  • Användarnamn
  • Avatarer
  • Forumkategorier

2. Installera ett forum från scratch
3. Med script skapa users med alla kända användarnamn, men med random lösenord (eftersom dessa är okända) och random emails.
4. Importera alla inlägg och avatarer och koppla dessa till ovan användarnamn.
I detta skede är forumet good to go, bara det att man inte vet vem som är vem. Och epost saknas för alla users.
5. Lägga in en funktion vid inloggningen som gör följande:
5.1 Visar inloggningsrutan (som vanligt)
5.2 Vid submit, kolla user+pass mot forum24 (virtuell browser). Om ok, uppdatera nya kontot med korrekt lösenord.
5.3 Prompta emailadress som användaren får mata in.
5.4 (Skicka verifieringsmail)
6. Klart!

Finns det nån annan bättre strategi?

Gustav Gager
Kommer du hit ofta?
Medlem
Forum Posts: 1492
Member Since:
januari 9, 2004
sp_UserOfflineSmall Offline
1293436
mars 7, 2014 - 9:55 f m
sp_Permalink sp_Print

För det första så bör du kanske kolla så att det är OK att göra så som du vill göra.
Jag vet inget bättre sätt att göra än det du föreslår, men det är fruktansvärt mycket jobb och en ganska ”ful” lösning.

Avatar
dreamweaver
Kommer du hit ofta?
Medlem
Forum Posts: 1220
Member Since:
maj 1, 2005
sp_UserOfflineSmall Offline
1293437
mars 7, 2014 - 10:03 f m
sp_Permalink sp_Print

-Tjalve-;1293629 wrote: För det första så bör du kanske kolla så att det är OK att göra så som du vill göra.

Jag hittade inget som motsätter det egentligen. All information som skrapas är publik och såg inget i deras användarvillkor om det. Dessutom behöver man inte vara användare för att logga in börja skrapa. Samtidigt så godkänner ju alla nya users det nya forumet i o m inloggning.

-Tjalve-;1293629 wrote: Jag vet inget bättre sätt att göra än det du föreslår, men det är fruktansvärt mycket jobb och en ganska ”ful” lösning.

Mjo, men jag kan inte komma på nåt snyggare. :/

Gustav Gager
Kommer du hit ofta?
Medlem
Forum Posts: 1492
Member Since:
januari 9, 2004
sp_UserOfflineSmall Offline
1293438
mars 7, 2014 - 2:12 e m
sp_Permalink sp_Print

Ja det är väl bara att testa och se om det funkar då? Man brukar märka ganska fort om det ”är värt det” eller ej 🙂

This topic is locked
Forum Timezone: Europe/Stockholm

Most Users Ever Online: 694

Currently Online:
213 Guest(s)

Currently Browsing this Page:
1 Guest(s)

Top Posters:

Andreas Galistel: 16287

Jonas Klar: 15897

ilg@dd: 10810

Nyhet: 10607

Mind: 10550

Ctrl: 10355

Gueno: 9881

Guest: 9344

Snorch: 8881

Callister: 8468

Newest Members:

RebeccabipYJ RebeccabipYJ

HumanSert HumanSert

AshleyCeanyJN AshleyCeanyJN

RobertCapYX RobertCapYX

MichaelZonZR MichaelZonZR

Brandonvom

staletsatf staletsatf

BradleyJewZQ BradleyJewZQ

autogruxusKJ autogruxusKJ

DonaldSpodyZU DonaldSpodyZU

Forum Stats:

Groups: 11

Forums: 59

Topics: 146630

Posts: 1300967

 

Member Stats:

Guest Posters: 2

Members: 78407

Moderators: 0

Admins: 11

Administrators: nordicadmin, Henrik Berntsson, Anton Karmehed, Carl Holmberg, Joel Oscarsson, Mikael Linnér, Mikael Schwartz, Andreas Paulsson, Nickebjrk, Mattias Pettersson, EmxL