Voetbal.nl Ripper

ICTscripters maakt gebruik van cookies. Door het gebruiken en browsen naar onze site gaat je automatisch akkoord met het gebruik van cookies. Klik hier voor meer informatie

  • Huidige Versie: 1.9.7

    Dit script (scripts) haalt informatie op van de site voetbal.nl en slaat het op in de database.

    Voetbal.nl Ripper 1.9.7 door Johnvs

    Update: Versie 1.9.7.9.2
    Datum: 23-10-14

    Delen van Voetbal.nl Ripper zijn afkomstig uit de KNVB Ripper versie en/of kunnen afkomstig zijn van
    Redroest, Yarro, patron2, FreddyHell, Killerbee, Pietjebel


    WIJZIGINGEN IN VERSIE 1.9.7
    - Weergave programma's voldoen nu aan de standaard HTML5 en CSS3
    - Verwijderen van uitslagen in team uitslagen met een '-' waar er ook een uitslag is met 'afgelast' (ontdubbelen)
    - mogelijk om in instellingen.php het aantal + dagen op te geven voor de uitslagen in team.php
    - mogelijkheid om teamindeling en speelronde op te halen via teamindindex.php. (apart gehouden van index.php ivm doorloop tijd)
    - Weergave van teamindeling en speelronde via teamindeling.php
    - optie in instellingen.php om team indeling en speelronde weer te geven in team.php
    - dashboard.php als beheerprogramma voor verschilende taken.
    - bugfixes in allerlei programma's zoals admin.php, extra.php, uitslag.php mbt switchen tussen de verschillende programma's,weergave en werking van filters
    - Weergave van afgelasting in team-stand en team-programma. Aan te passen via css file.


    HULP VRAGEN

    - Voordat je om hulp vraagt zorg dat je de leesmij.txt hebt doorgenomen en alles goed hebt geinstalleerd en ingevoerd.
    - Wijzig de standaard wachtwoorden van de verschillende beheer programma's.
    - Zorg dat je account op voetbal.nl werkt. Login en vraag de gegevens van 1 van je teams op. Als je een blanco pagina ziet is je account geblokkeerd.
    - Zet UserDebug aan in instellingen.php om meer meldingen te krijgen over wat er fout gaat.
    - Gaat er iets niet goed haal dan de informatie van het team in je browser via de volgende link:
    http://pupillen.voetbal.nl/clubs-competities/html/poules/uitslagen/teamcode sla vervolgens de sourcecode op van de pagina.
    - Geef duidelijk aan welke foutmelding je krijgt en wat je aan het doen bent als je hem krijgt. (inclusief de userDebug meldingen)
    - Geef aan of dit bij 1 of meerdere teams het geval is.

    Belangrijk: Indien ik van mening ben dat niet alle informatie is gechecked en probleem omschrijving niet voldoet kan het zijn dat ik geen reactie geef.



    Met dank aan iedereen die al eerder genoemd is maar special aan Yarro voor team.php, programma.php, uitslagen.php en opmaak.css etc.

    Problemen? Vragen staat vrij en ik zal proberen te helpen waar ik kan.
    Wel altijd eerst zorgen dat de laatste versie gebruikt wordt.

    Ook graag een reactie als je het gebruikt.


    Groet, Johnvs

    Let op: De meest recente versie staat op: https://sourceforge.net/p/voetbalripper/code

    Tevreden gebruikers graag reageren!

    6,119 keer bekeken

Reacties 108

  • AarClay -

    Is het gewoon niet handig om een API op te vragen waarop voort te borduren is? Als je HTML-blijft scrapen is het gewoon dweilen met de kraan open.

  • tobo -

    Even een update, op dit moment lukt het mij om in te loggen, alle teams (ofwel teamcodes) van een vereniging te achterhalen, en per team de uitslagen te achterhalen. Probleem is wel dat er al een paar keer wijzigingen zijn doorgevoerd op de voetbal.nl site waardoor e.e.a. niet meer werkte en ik de boel heb moeten aanpassen. Probleem is ook dat bij het achterhalen van de teamcodes (in mijn geval 57) soms een time out optreedt waardoor niet alle teamcodes beschikbaar komen. Tot nog toe is het me niet gelukt deze time out te beinvloeden. Ik boek dus wel vorderingen, maar helaas nog niet zo veel als gehoopt.

    • pill.tassie -

      @tobo, zou je deze files beschikbaar kunnen stellen, wellicht dat andere(of ikzelf) hier verder mee kunnen.

  • Freezer -

    Ik heb zo'n gevoel dat dit hem niet gaat worden of wel? Zou mooi zijn als 1 van de programmeurs het initiatief neemt...

    • nikozz -

      +1 Ik check deze pagina dagelijks hopend op een update

    • Shop -

      ik kijk bijna dagelijks. Ook onze club waardeert niet het initiatief van de KNVB om onze gegevens te vercommercialiseren. Het is dat de KNVB een monopolist is anders was er vast wel al tegen opgetreden. Kleine verenigingen hebben het geld gewoon niet.

      Ik ben geen grote PHP guru maar kan aardig uit de voeten. Als er getest moet worden dan kan je op me rekenen.

  • maumaas -

    @Tobo, begrijpelijk vwb vrije tijd. Ik zou dr best iets tijd in kunnen steken, echter niet thuis in deze materie.
    Een optie om nhaadrikman, keepertje, roynijkamp erbij te betrekken ? Zo te zien weten zij ook en ander over programmeren.

  • tobo -

    Ik heb inmiddels de login voor elkaar, kan alle (benodigde) pagina's benaderen, en heb inmiddels grotendeels een strategie bepaald hoe ik e.e.a. aan moet pakken. Zoals eerder al gezegd wil ik de database zo veel mogelijk intact laten zodat er aan de front-end kant niets gewijzigd hoeft te worden en alle pagina's die iets laten zijn gewoon blijven werken. De nieuwe site is anders van opzet, en dat maakt sommige dingen wat lastiger (bijv competitie en beker is anders van opzet, afgelastingen gaat anders). Een ander probleem is ook dat er dingen voor mij nog niet duidelijk zijn. Ik ben nu zover dat ik daadwerkelijk een aantal zaken aan het oplossen ben, m.b.t. het rippen. Ik durf echter nu nog niet te zeggen wanneer ik met een oplossing kan komen. Voor mij is het vrije tijd die ik erin moet stoppen, en daar ontbreekt het me wel eens aan.

  • maumaas -

    Ik heb de oude widgets weer van stal gehaald... Maar een ge-update ripper is echt wenselijk, anders zal de club snel naar andere oplossingen zoeken.
    Zondag begint de competitie. In sommige klasses hebben zich al teams teruggetrokken, zijn de aanvangstijden gewijzigd, zijn wedstrijden verplaatst etc...

    Probleem nu is, wie kan wat doen en kan dit op elkaar worden afgestemd. En kunnen de leken ook nog helpen.

  • Freezer -

    Mijn club wil ook een bijdrage leveren. De oplossing moet dan wel binnen afzienbare tijd beschikbaar zijn want we kunnen niet te lang geen data tonen op onze website. Is er al zicht op een opleverdatum?

  • nhaandrikman -

    Ik heb ook het inloggen werkend.
    Wie is er al verder dan dat? Dan kunnen we misschien code uitwisselen. Ben nu aangekomen bij de REGEX exppressions.. Niet mijn sterkste punt.. Wie kan daar bij helpen?

    @tobo of @jherta hoe ver zijn jullie? Jullie hadden de login al werkend las ik, al verder stappen kunnen zetten?

    • roynijkamp -

      Ik sluit mij aan bij nhaandrikman. Laten we code beschikbaar maken in een rep zodat we niet allemaal het wiel opnieuw moeten uitvinden maar dat we de krachten kunnen bundelen.

  • pill.tassie -

    Geen nieuws goed nieuws ? :)

  • Keepertje -

    Ook wij hebben hier last van, ik wil best meehelpen programmeren (programmeren kan ik, PHP ben ik helaas minder in thuis), zoals meerdere. Is het niet handiger om iets van een repo ervoor aan te maken? (Github o.i.d ?)

  • maumaas -

    Wil ook bij onze vereniging peilen of ze willen bijdragen, denk t wel. Ligt wel beetje aan het bedrag uiteraard.
    Om te voorkomen dat er zeg eens 50 verenigingen profiteren terwijl er maar 5 doneren, zou ik er bijna voor pleiten dat de nieuwe versie pas ter beschikking wordt gesteld aan een persoon/vereniging indien men eerst ook een bijdrage doet. Maar dat ligt gevoelig denk ik en vereist een administratie. Maar zo worden wel de lasten het meest verdeeld.

    Als ik verstand had van programmeren was ik al begonnen, maar helaas.
    Er zijn een aantal mensen die de oude ripper hebben gemaakt en die de meeste kennis hebben. Hoop dat iemand in samenspraak met hun tot een mooie aangepast nieuwe ripper kan komen.

  • roynijkamp -

    Bij ons op de vereniging is er ook wel bereidheid om een bijdrage te doen in de kosten.
    Het alternatief a 1,00 euro per lid is naar ons idee geen alternatief voor iets wat als opendata beschikbaar zou moeten zijn.

  • bb15 -

    Ik wil ook wel meedenken en wat ping-ping doneren. Als iedereen wat bijlegt heb je zo bedrag wat wellicht voldoende is en wat overblijft is w.m.b. voor de paar oude ontwikkelaars voor lekker etentje of zo ;) Maar waar te doneren en later uit te keren? Kan dat hier? Denk ook wel dat het snel geregeld moet worden allemaal...

  • nhaandrikman -

    Ik wil ook best meehelpen met programmeren. heb achter de ripper een heel systeem gebouwd voor het beheren van al mijn teams inclusief een narrowcasting programma voor bij ons in de kantine. Dus heb er veel baat bij dat het weer gaat werken. Ik weet niet of de mensen die bijvoorbeeld al een deel hebben omgezet dit kunnen delen?
    Mocht er daarnaast iemand zijn die dit, bijvoorbeeld, binnen een week dan wel niet betaald kan oplossen wil ik daar ook best aan meewerken..

  • johnvs -

    @iedereen

    Helaas zijn de wijzigingen op de nieuwe site van dien aard dat voor het ophalen van de data er wijzijgingen nodig zijn. Dat is het nadeel van een ripper.
    Zoals ik al eerder heb aangegeven onderhoud ik de ripper niet meer ivm wijzijgen naar PHP7 etc.

    Ik heb even naar de opbouw van de niewe site gekeken en opzich zouden er niet al te veel problemen moeten zijn maar het vergt wel tijd.
    De pagain's (url's) zijn gewijzigd en de opbouw dus de REGEX exppression zullen moeten worden aangepast.

    Ik weet niet of jullie instaat zijn de krachten de bundelen en iemand zoals Ferhat.Remor te benaderen om dit betaald te doen. Wellicht meteen met de SQl omzetting.

    success hermee

  • scia -

    Ik hoop echt van harte dat jullie dit issue op kunnen lossen! Ben al vele jaren een tevreden gebruiker van de ripper en zou het zonde vinden om over te moeten stappen naar een peperduur alternatief (zoals datalink of hoe ze ook heten).

  • stegging -

    Hallo Heren,
    Als ik alles zo lees dan ben ik bang dat het wel even gaat duren voor er iemand met een oplossing voor dit probleem komt. misschien kan ik beter de module bij sportlink aanschaffen dan weet ik zeker dat ik voor het seizoen begint weer een werkende site heb. of zie ik dit totaal verkeerd.

  • tobo -

    @maumaas. Met het vinden van de teams bedoel ik dus ook alle teamgegevens inclusief de teamcode (die overigens niet altijd 10 cijferig is). Natuurlijk zou handmatig invoeren ook kunnen, maar automatisch is des te makkelijker. Met alleen de ripper vervangen bedoel ik de index.php file (voor zover ik nu kan overzien), de rest wil ik zo veel mogelijk intact laten. Als me dat lukt zou het dus betekenen dat er maar 1 file vervangen hoeft te worden.

  • maumaas -

    Vwb vinden van de teams van een club is al een goede stap. Het daarbij vinden van de afzonderlijke teamid's zijn ook nog een ding. Niet alleen worden die opgehaald vanuit voetbal.nl, die worden eventueel ook handmatig toegevoegd. Zijn zo te zien de 10 cijferige Txxxxxxxxxx codes.
    Kunnen anderen nog een bijdrage leveren in iets ? Wil best meekijken, heb alleen niet zon verstand in het php verhaal.

    Je zegt alleen de ripper vervangen. Voor mijn begripvorming...over welke bestanden vervangen van de in totaal 27 heb je het dan over ?

  • tobo -

    Het oude script uitpluizen heeft niet zo heel veel zin. De opzet van de voetbal.nl site is zodanig gewijzigd dat kleine aanpassingen aan het script niet zullen helpen. Inmiddels heb ik wel uitgevonden dat de nieuwe site redelijk goed gestructureerd is opgezet, en lukt het me al om van een club alle teams te achterhalen zonder deze ergens als favoriet te hoeven maken. Ik wil echter zo min mogelijk (liefst niets) wijzigen aan de database, want dan hoeft alleen maar de ripper vervangen te worden door een nieuwe en kan al het overige intact blijven. Zoals ik er nu tegenaan kijk moet dat kunnen. Het lastige is dat de site nog maar net bestaat, en dat een heleboel mogelijke situaties nog niet zijn opgetreden, of dat ik ze nog niet tegen ben gekomen. Dat zal betekenen dat het nog wel even zal duren voordat er een definitieve versie is. Ik ben echter wel van plan om zodra ik een werkende versie heb deze te gaan publiceren.

  • maumaas -

    @tobo Denk toch echt dat het script uitgeplozen en iets herschreven moet worden om hetzelfde resultaat als eerst te krijgen.

  • RobH -

    @tobo: Wat bedoel je met strategie?

  • tobo -

    Ik heb inmiddels de login voor elkaar en kan ook de diverse pagina's benaderen om zaken te rippen. Nu moet ik nog een goede strategie verzinnen, om dit op een goede manier voor elkaar te krijgen. Als iemand hier een goed idee over heeft dan hoor ik dat graag.

  • RobH -

    Wat fijn dat er developers in de groep zitten! Als het op prijs gesteld wordt om te testen (weet van de originele ripper nog dat het per provider kan schelen of dingen werken of niet) dan hou ik me aanbevolen. Zal in ieder geval een nieuw uniek account aanmaken voor de aankomende periode. Datalink is een euro per lid per jaar dus met 800 leden tikt dat inderdaad te veel aan om daar gebruik van te maken.

  • tobo -

    @maumaas: Ik heb het nog niet uitgeprobeerd, maar ik denk inmiddels te weten waarom de remote login bij mij (nog) niet werkte. Ik nam maar een gedeelte van de value van het hidden login veld over en daarom kwam ik steeds op een http403 fout terecht. Ik denk nu te weten hoe het moet maar heb nog geen tijd gehad om te testen. En inderdaad, ik denk dat de applicatie voor een groot deel herschreven moet worden om e.e.a. weer werkend te krijgen. Ik ga in ieder geval kijken hoe ver ik kan komen want ik vind de meerwaarde te groot (en de datalink te duur) om dit te laten liggen.

  • maumaas -

    @tobo. Wat lukt er niet met de login ? Neem aan dat je ooit een uniek account hebt aangemaakt voor de ripper ?
    Ik heb ook mijn oud account moeten aanpassen, nieuwe gebruikersmaam (lees uniek mailadres wat je liefst niet gebruikt voor eigen voetbal.nl gebruik.)
    Anders ff nieuw account aanmaken en dit mailadres/wachtwoord ingeven in het instellingen scherm van het dashboard. Maar ook al krijg je het voor elkaar, dan zijn we er nog lang niet.

  • bb15 -

    Ik heb maar weer (tijdelijk) als noodoplossing de KNVB Widget van stal gehaald.. je wilt toch je leden een actueel programma, uitslagen en afgelastingen laten zien zonder dagelijks knip en plak werk. Foei lelijk en niet responsive, maar doet het (nog) wel knvbwidget.sportlink.com/widget_hulp.php?
    Hopelijk kunnen we binnenkort weer op oude voet verder... mocht het helemaal niet lukken, wat ik liefst betwijfel, is een andere optie dat de club een abonnement CLUB.DATASERVICE neemt... kost wel een beetje...

    • maumaas -

      Dank je voor de link. Is er een manier om de widget gecentreerd te krijgen in het midden van een kolom of pagina ?

    • bb15 -

      Ik denk van wel, probeer eens: <center> (widget code) </center>

  • tobo -

    @jherta: Ik ben ook een poging aan het ondernemen om de scripts aan te passen, en dacht de login ook voor elkaar te hebben, bij nader inzien is dat echter nog niet zo. Is het mogelijk om jouw kennis te delen en onze krachten te bundelen. Waarschijnlijk moet er nog veel meer veranderd worden om tot resultaat te komen omdat de hele opzet van voetbal.nl is gewijzigd.

  • jherta -

    Het lijkt er op dat ik de inlog voor elkaar heb. Nu de volgende stap...

    • tobo -

      Hallo jherta, zou je de inlog procedure met mij willen delen, want tot nog toe lukt het me niet om ingelogd te raken met een script. Volgens mij ben ik er bijna, maar ontbreekt me net het laatste stukje kennis.

  • RobH -

    De lay-out van de site is veranderd, dus de bestaande regexp in de ripper zullen niet meer werken. Mogelijk dienen slechts deze zaken, plus het inloggen op de site te worden aangepast, maar dat kan ik moeilijk inschattenals niet-developer. Zie overigens dat het niet echt storm loopt met mensen die wel weten hoe het moet, dus hopelijk is de "oude kliek" als Johnvs, Redroest, Groentebroer en anderen nog eenmaal te motiveren?

    • Lucien -

      Ik ben er ook fan van, laten we hopen dat het makkelijk gefixt kan worden en dat voetbal.nl niet te veel grote updates heeft gedaan !