Home Foren Support für jAnrufmonitor 5.0 (Windows) Support für Module unter Windows Support für Telefonauskunftsmodule Fehlersuche in Modulen DasOertliche, 11880, DasTelefonbuch und Gelbeseiten

Ansicht von 15 Beiträgen - 1 bis 15 (von insgesamt 19)
  • Autor
    Beiträge
  • #44128
    Thilo Brandt
    Administrator

      Hallo an die Community! 🙂

      Erstmal herzlichen Dank an den Entwickler für diese wirklich hilfreiche Software!

      Leider funktionierte bei mir schon seit längerem die Rückwärtssuchen des DasÖrtliche-Moduls nicht mehr, daher habe ich mal ein paar andere geladen. Folgende waren installiert:

      http://www.DasOertliche.de
      11880.com
      DasTelefonbuch.de
      Gelbeseiten.de

      Aber auch die neu geladenen funktionierten nicht. Da ich ein wenig PHP kann und selbst schon einmal einen Scraper schrieb, habe ich als erstes begonnen, die Regex der Module zu verändern, da ich bemerkt hatte, dass sich die HTML-Strukturen, zumindest bei 11880.com und DasTelefonbuch, ggf. verändert hatten. Jedoch brachten diese Anpassungen keinen Erfolg.

      Zum Vergleich habe ich die Anfragen auch immer mal im Browser ausgeführt, auch um zu sehen, bei welcher URL ich am Ende lande. Dabei habe ich festgestellt, dass die neu geladenen Module auf SSL (also zu https) umleiten. Eine entsprechende Änderung der Abfrage-URL´s in den Einstellungen blieb ebenfalls erfolglos. Irgendwann funktionierte jedoch http://www.DasOertliche.de (die einzige Seite, die noch komplett über http läuft) nachdem ich bei allen Modulen das Zeichen-Offset (timeout?) um 100% erhöht hatte (also von 8.096 auf 16.192).

      Mittlerweile glaube ich aber (u.a.) folgenden Fehler ausgemacht zu haben. Wie gesagt läuft nur http://www.DasOertliche.de über http und das wichtigste dabei ist: die URL bleibt, inkl. der angehängten GET-Parameter, die gleiche. Um eine derartige Umleitung in PHP zu berücksichtigen, hätte eine CURL-Option wie folgt ausgesehen:

      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

      Wenn ich richtig recherchiert habe, müsste die entsprechende Option in Java wie folgt gesetzt werden:

      con.setInstanceFollowRedirects(true);

      Könnte es sein, dass diese (oder eine ähnliche) Zeile im Quellcode fehlt?

      Übrigens: 11880.com scheint offenbar zu bemerken, dass es sich NICHT um einen Standard Browser handelt, der den Request absetzt, denn es gibt laut den logs ein 301 Moved Permanently zurück – nicht aber bei normaler Browseranfrage. Wie das programmatisch in Java zu vermeiden ist, entzieht sich meiner Kenntnis (wie gesagt – bin kein Java-Mensch), ich bin mir aber recht sicher, dass es lösbar ist (in PHP wäre es das zumindest).

      Bei DasTelefonbuch tut sich rein gar nichts. Die Seite scheint möglicherweise auch zu erkennen, dass es es sich um einen Scraper/Sniffer, also nicht um einen User-gesteuerten Browser handelt. Es wird nicht einmal ein Repository in den logs dafür angelegt. Wo genau der Prozess abbricht, kann ich nicht sagen – ich vermute, dass schon der CURL nicht ausgeführt werden kann, sonst würde es ja zumindest den HTML-Response (z.B. einen 301 wie bei 11880.com) aus dem DOMDocument laden (so heißt es zumindest in PHP …).

      Zum Schluss noch etwas Kritik an den Logs – wenn ich darf 🙂 . Die könnten etwas aufschlussreicher sein. Mir waren die jedenfalls keine Große Hilfe bei der Suche nach den Fehlern, allerdings hatte ich evtl. auch nicht das umfangreichste Error-Reporting eingeschaltet, sondern nur jamlogger.trace.level=INFO – ich meine, irgendwo gelesen zu haben, dass es noch eine Option für einen ausführlicheren Log gibt?

      Ich hoffe, ich konnte dazu beitragen, dass die Module zu gegebenem Zeitpunkt erfolgreich überarbeitet werden können.

      Mit besten Grüßen, John

      #44129
      Thilo Brandt
      Administrator

        Hallo John,

        ich teste die Module regelmäßig automatisiert durch. Gelbeseiten.de, DasÖrtliche.de und DasTelefonbuch.de sind dabei im Status grüne, also erkennen diese die Einträge. Das Modul 11880.com ist im Status gelb. Das werde ich prüfen.

        Ansonsten kenne ich die Problematiken mit redirect, referrer, User-Agent String. Diese Themen sollte alle soweit umgesetzt sein. Bist du mit den Modulen Imme rauf dem letzten Stand?

        Viele Grüße
        Thilo

        #44165
        john_delay
        Teilnehmer

          Hallo Thilo,

          ja, mit den Modulen war ich auf jeden Fall auf dem letzten Stand. Zwischenzeitlich funktionierte DasOertliche wieder – mittlerweile aber wieder nicht mehr. Es ist mir ein Rätsel, woran es liegt. Habe schon alle möglichen Fehlerquellen eliminiert. Virenscanner, Firewall abgeschaltet und meine modifizierte Host-Datei auf Default zurückgesetzt. Referrer und User-Agent verschleiere ich lediglich beim Surfen im Browser, aber das darf eigentlich keine Auswirkungen auf diese Verbindungen haben. Reihenfolge der Module habe ich auch verschiedene durchgetestet. Ich denke, ich werde bei Gelegenheit mal deinstallieren, booten und neu installieren – mal schauen, ob das eine Veränderung bringt.

          Gruß, John

          #44273
          Anonym

            Hallo zusammen,

            ich muss mich der Diskussion anschließen. Leider habe ich auch Probleme mit der Rückwärtssuche. Seit ca. Anfang Juni werden keine Rufnummern mehr über die Rückwärtssuche identifiziert. Ich habe mehrere Module installiert. Aber keines liefert derzeit irgendwelche Ergebnisse. Die Identifizierung der Nummern und die Erkennung der Nummern aus dem Adressbuch funktioniert ohne Probleme. Ich habe wie empfohlen Java und die Programmdatei in der Firewall freigegeben. Ich habe alles neu installiert, die Module neu heruntergeladen und neu installiert. ich weiß nicht mehr weiter. (OS Windows 10)

            Grüße Thomas

             

             

            #44275
            Thilo Brandt
            Administrator

              Hallo Thomas,

              hast du schon folgende FAQ beachtet? https://www.janrufmonitor.de/warum-werden-nicht-alle-rufnummern-ueber-die-telefonauskunft-module-erkannt/

              Wenn ja, dann setze mal das Loglevel des jAnrufmonitor auf INFO (siehe http://www.janrufmonitor.de/logging) und logg mal einen konkreten Fall, der deiner Meinung nach funktionieren müsste.

              Viele Grüße
              Thilo

              #45322
              Anonym

                Hallo Thilo,

                ich kann mich meinen Vorrednern nur anschliessen. Bei mir funktionieren alle Module (bis auf das lokale MySQL-Adressbuch) nur sporadisch.
                Was allerdings sehr seltsam ist, ist dass alles funktioniert wenn ich das Logging auf Info stelle!

                Gibt es an irgendeiner Stelle eventuell ein Timeout bzw. eine zu schnelle Antwort der Gegenstelle welche durch das Logging ausgebremst wird und dann so wieder funktioniert?

                #45323
                Thilo Brandt
                Administrator

                  Hallo Ulisus,

                  also einen Timeout gibt es schon, aber nur der Natur, dass er zuschlägt, wenn die Erkennung zu lange dauert. Das Login wäre also in diesem Falle eher kontraproduktiv. Dass es mit Logging INFO geht aber mit Logging WARNING nicht, kann ich aktuell nicht nachvollziehen. Kannst du mal Testen, ob es bei Loglevel SEVERE funktioniert?

                  Viele Grüße
                  Thilo

                  #45324
                  Anonym

                    Sehr seltsam, mit SEVERE geht es auch nicht, sondern wirklich nur mit INFO. Mir ist aufgefallen, dass bei WARNING oder SEVERE auch kein Unterverzeichnis “~repository.www.dasoertliche.de” in Logs angelegt wird, bei INFO hingegen schon.

                    Das mit dem Timeout war auch wirklich nur von mir laienhaft versucht zu raten, woran es liegen könnte.

                    Es ist reproduzierbar mit mehreren Nummern, habe es jetzt 4x ausprobiert. Wenn Du willst kannst Du auch gerne mal per Teamviewer oder VNC auf den Rechner.

                    #45325
                    Thilo Brandt
                    Administrator

                      Hallo Ulisus,

                      Danke für das Angebot, aber Teamviewer und VNC nutze ich aus rechtlichen Gründen nicht im Zusammenhang mit Benutzer-PCs.

                      Ich habe mal den Unterschied zwischen Loglevel WARNING und INFO angeschaut. Bei INFO wird der Inhalt der HTML-Seite des Onlinetelefonauskunftsdienstes in eine Logdatei im Verzeichnis ~repository.www.dasoertliche.de gespeichert. Sonst aber wird die Verarbeitung identisch zu WARNING durchgeführt. Es scheint bei dir diese Speicherung etwas zu bewirken, was bei WARNING nicht beachtet wird.

                      Viele Grüße
                      Thilo

                      #45326
                      Thilo Brandt
                      Administrator

                        Vorschlag: Ich baue das Speichern der HTML Daten mal ein, ohne dass das Loglevel INFO zu setzen ist. Danach sollte es dann auch klappen.

                        #45328
                        Anonym

                          Gerne! Sag Bescheid, wenn ich etwas testen soll.

                          Habe jetzt übrigens auch mal auf Java9 aktualisiert, was aber das gleiche Ergebnis liefert.

                          #45329
                          Thilo Brandt
                          Administrator

                            Kommt mit dem nächsten Update. Funktion ist schon eingebaut.

                            #45798
                            Anonym

                              Hallo, bei mir funktioniert die Rückwärtssuche mit DasÖrtliche nicht mehr:

                              Es kommt nur “Es konnten keine weiteren Daten zu dieser Rufnummer ermittelt werden.”

                              Geht’s nur mir so, liegt es evtl. am relativ alten Modul ?

                               

                              Edit: Die Rückwärtssuche mit 11880 geht auch nicht mehr. Also Glaube ich es liegt nicht an den Modulen… Woran kann es liegen.

                              Im Ordern Logs liegt keine LOG datei, die evtl. helfen könnte.

                               

                              #45799
                              Thilo Brandt
                              Administrator

                                Welche Modulversionen hast du im Einsatz? Hast du mal ein Update auf die neusten Versionen vorgenommen? Aktuell scheinen bei mir alle Module zu funktionieren.

                                #45800
                                Anonym

                                  Ich habe V 3.0.3 von 11880 und V 3.0.14 von DasÖrtliche.

                                  Die Installation auf einem anderen PC tut’s ebenfalls nicht mehr.

                                Ansicht von 15 Beiträgen - 1 bis 15 (von insgesamt 19)
                                • Du musst angemeldet sein, um auf dieses Thema antworten zu können.