Nudefix

Hallo MDuss

Ich werde dies auf alle Fälle in den nächsten Tage sehr genau beobachten. Ansonsten haben wir ja Ruhe auf unserer Seite. Aber es gibt halt immer wieder welche, die denken sich was aus, um anderen Seiten zu schaden, leider.

Hallo Bloody_Kain

Ja mit einem Forum ist man mit Sicherheit angreifbarer, als ohne, dies sehe ich auch so.

MfG tonidoc

Sorry leute die Frage, aber es heisst ja wer net fragt bleibt dumm^^
Also was ist nen WebCrawler und das ganze Zeug wo ihr hier redet?

Hallo elecp

Am besten liest Du mal die Links, die altelulex, und MDuss auf der ersten Thread Seite hier hereingepostet haben, um dies zu verstehen. Also vereinfacht gesagt, diese können eine Homepage lahm legen, oder zum Absturtz bringen. Nichts für ungut, alles hier zu erklären ist etwas mühsam, aber dies von mir erwähnte stimmt in etwa. Weil diese Web-Crawler haben mit Viren etc. nichts oder wenig zu tun.

MfG tonidoc

Umbra hat geschrieben:

mufusion hat geschrieben:Wie finanziert Mann sone Seite überhaupt ? Ohne Werbung oder Sachen die die user bezahlen müssen

Hm, gar nicht! Uns gibts nur, weil Tonidoc so großzügig ist und diese Seite bezahlt....


Gruß
Umbra

PS: Danke dafür nochmal an Tonidoc.

Hallo Umbra

Dein Dank dankend angenommen. Es ist so, dass ich ja auch Freude an Nudefix habe, und einen guten Partner. Gäbe es meinen Partner nicht, würde es mit grosser Wahrscheindlichkeit Nudefix auch nicht mehr geben. Mit meinem Partner meine ich MDuss.

Die Seite bezahle ich, dies ist kein so grosses Problem, und von daher bestimme auch ich, wer Mitglied wird, und wer nicht. In Sachen Mitglieder bin ich leider etwas anspruchsvoll, und von daher haben wir auch keine allzugrosse Community, was von mir aus auch so bleiben kann.

MfG tonidoc

elecp hat geschrieben:Sorry leute die Frage, aber es heisst ja wer net fragt bleibt dumm^^
Also was ist nen WebCrawler und das ganze Zeug wo ihr hier redet?

Im Prinzip ist dat nix anderes als ein Schnüffler, der für die Suchmaschinen Daten sammelt. Aber wenn so ein Crawler mit bösen Absichten programmiert wurde oder einfach nur fehlerhaft, dann greift der bei seiner Suche auf einen Server so oft zu, das normale Anfragen nicht mehr bearbeitet werden können.

Das was MDuss hochgeladen hat ist ein Schutz gegen zu viele Zugriffe gegen WebCrawler, die halbwegs richtig programmiert sind, was ich bei dem von Google eigentlich annehme.

Ich hoffe das war im kurzen das was die Links im Detail beschreiben

grüßlies ... lulex

Hallo Leute

Wie es ausschaut haben wir den Nagel auf den Kopf getroffen. Bin heute morgen in der Adminebene nach schauen gegangen.

Wurm & Exploit Protection = Null, genau hier sind die Crawler gelistet.
IP, Proxy & User Agent = Null, wobei dies nichts mit den Crawler zu tun hat.
Auch wurde ich heute Nacht nicht mehr von unserer Seite geworfen. Denke mir, dass wir dieses Problem im Grossen Ganzen gelöst haben. Für weitere Beobachtungen in dieser Angelegenheit durch Euch, wäre ich Euch dennoch dankbar.

Hallo altelulex

Gut umschrieben.

MfG tonidoc

Danke Leute jetzt bin ich schlauer
Danke auch an tonidoc und Mduss für Seite am "leben" halten, freut mich echt hier dabei zu sein dürfen

elecp hat geschrieben:Danke Leute jetzt bin ich schlauer
Danke auch an tonidoc und Mduss für Seite am "leben" halten, freut mich echt hier dabei zu sein dürfen

Hallo elecp

Und wir freuen uns, dass wir Mitglieder wie Euch haben.

MfG tonidoc

tonidoc hat geschrieben:In Sachen Mitglieder bin ich leider etwas anspruchsvoll, und von daher haben wir auch keine allzugrosse Community, was von mir aus auch so bleiben kann.

Genau meine Meinung, ich mags lieber überschaubar und umgeben von Leuten die sich mühe geben und Sympathisch sind als unüberschaubar naja ihr wisst schon, eben nicht so toll ;)

Webcrawler, heh jetzt weiß ich was es damit auf sich hat. Danke dafür^^

*wink*

Ich find die Mitgliederphilosophie auch toll und auf jeden Fall vertretbar besonders da es für (fast) alle kostenlos ist dafür ein dickes an Tonidoc und MDuss.

Ahjo ... vor diesem Fred wusste ich auch nicht was diese "Netzkrabbler" sind ... hehe

grüßlies ... lulex

Der einzige Nachteil der ganzen Geschichte:

Suchmaschinen wie z.B. google könen uns eventuell nach einer gewissen Zeit nicht mehr in ihren Suchlisten aufführen, weil die Webcrawler keine Daten mehr von uns an die Suchmaschienen sendenkönnen.

Die einzige Möglichkeit wäre geziehlt Webcrawler zu sperren, die eine zu hohe Serverlast auslösen.

Dazu bräuchte man aber geziehlt den Namen des Crawler, bzw. desse IP, mit der die DAten gesendet werden vom Crawler an die Suchmaschine.

Und diese Sperre wirkt nur gegen Crawler, welche sich an die Robots Exclusion Standard halten.
Wenn sich ein Crawler nicht daran hält, dann hilft die oben von mir erwähnte Methode nichts.
Dann hilft nur noch eine .htacces Datei wo gezielt die IP des Crawlers gesperrt wird.

Eine .htaccess Datei ist eine spezielle Datei, welche den Zugriff auf Verzeichniss und Dateien auf einem Server kontrolloiert.
Wenn man dort jetzt den Befehl Deny from ***.***.***.*** die ***.***.***.*** durch eine IP ersetzt, so kann man bestimmten IPs den generellen Zugriff auf die Webseite verbieten. Aber dazu benötigt man halt die IP des Crawlers.

MfG
MDuss

Naja das mit dem finden is sone Sache ... nudefix.ch is mittlerweile auf diversen Seiten verlinkt mit den passenden Stichworten. Noch ist das mit den Crawlern ja auch in Beobachtung und wenn der Robots Exclusion Standard bereits greift könnte man vielleicht auch mal mit dem Betreiber reden ob es nicht eine Möglichkeit gibt die Zugriffe solcher "Krabbler" von Hause aus zu bremsen statt ganz zu blocken.

Die Beobachtung durch den Betreiber läuft ja eh schon und wenn es in nächster Zeit noch Probleme gibt kann man anfangen einzelne IP's herauszufiltern mit Hilfe des Betreibers und diese dann blocken.

Mich würde ja mal interessieren von wievielen IP's allein Google agiert *g*.

grüßlies ... lulex

Nun ja, bisher ist in dieser Liste der Crawler von Google, dann bing.com und hauptsächlich ein Crawler von sitebot.org/robot, wobei der letztere fast 98% der Crawler Einträge für sich beansprucht.

MfG
MDuss

Dann wäre es doch sogar sinnvoll mal zu testen nicht alle sondern lediglich diesen einen Bot zu sperren. Ich vermute mal das die meisten eh Google nutzen.

Wie man den Bot sperrt steht hier http://sitebot.org/turnoff.html.

grüßlies ... lulex

Das waere auch mein Vorschlag. Es ist fuer mich unwahrscheinlich, dass google oder Bing solche Serverlasten ausloesen. Warum ausgerechnet dieser Bot eine so hohe Last ausloest, wundert mich auch. Eventuell ist etwas auf Nudefix, das diesen Bot vermehrt ausloest?

Aber ich haette auch nichts dagegen, mit Nudefix ins tiefe Gewaesser des unindizierten Internets abzutauchen. Dann waeren viele Probleme geloest, und tonidoc muesste sich nicht mehr so oft aufregen.