Forum Debian Users Gang

czyli coś, co mnie kręci od zawsze. O ile za młodu coś tam skrobałem z kilkoma maniakami (pozdro sigo!), o tyle ja się postarzałem, a technika poszła mocno naprzód.
Ostatnimi czasy znowu naszły mnie ciągoty na rippowanie materiałów ze stron za pomocą własnych botów. Wiadomo, póki co jadę Bashem (węże w sed'dzie, dużo cut, tr, grepów, kod jest zaciemniony od fazy projektowania po wersję produkcyjną xD), ale docelowo ma to odbywać się Pythonem z jakimś dodatkiem (bo jednak chcę się rozwijać, a choćby dla własnej satysfakcji).

Przypomniałem sobie o portalu zlecenia.przez.net, pamiętam jak swego czasu znajdywalem tam różne interesujące i relatywnie proste zlecenia. Zajrzałem i dziś i postanowiłem opykać jedno 'na sucho', tzn, sprawdzić czy w ogóle podołam. Znalazłem coś ciekawego, ale przerosła mnie konfiguracja serwera www :P

link do zlecenia: http://www.zlecenia.przez.net/aukcja,118054,pozyska … katalogu-firm

Spojler, czyli o co chodzi: gość chce wyciągnąć z takich linków  http://akses.com.pl/biznes,i,ekonomia/okno,pcv,warszawa,s,2451/
takie dane: P.P.U.H. INVESTBUD Leszek Wypiórkiewicz; 483701445; Sadowa; 22; 26-500; Szydłowiec; biuro@hurtokien.pl; www.hurtokien.pl; 13 04 2012
Określił, że interesują go dane z rekordów numer od do.

Se myślę: klasyczna pętelka, tu jakiś wget, tam ciachnę awkiem, do csv też napiszę jakiś wypluwacz, aż przyjrzałem się linkowi.
Tak, paskudny rewrite. i o ile wykoncypowałem jak podołać zleceniu (mapa strony, kategorie, odwiedzenie każdego linka i porównanie parametrów urla do widełek zadanch przez zlecającego, jeśli pasują, to do wstępnej bazy, dalej pomartwię się później :P), o tyle zastanawia mnie jakby to zrobić jadąc po numerach rekordów. Nie raz już widziałem podobne linki i zostawiałem temat (czy to galerie, czy stronki ze scenowym stuffem), taka wiedza przydałaby mi się na później, nie ukrywam :)

Zaznaczam, że nie zamierzam brać udziału w licytacji zlecenia, a jednie interesuje mnie strona techniczna przedsięwzięcia; to taki disclaimer jakby ktoś se miał pomyśleć 'no tak, ja mu oddam za free technologię, a on na tym zarobi krocie'.