345 Stimmen

Was sind die Alternativen, jetzt wo die Google-Web-Such-API veraltet ist?

Die Google Web Search API wurde eingestellt und durch die Custom Search API ersetzt (siehe http://code.google.com/apis/websearch/).

Ich wollte das gesamte Web durchsuchen, aber es scheint, dass mit der neuen API nur benutzerdefinierte Websites durchsucht werden können.

Gibt es eine Möglichkeit, das gesamte Web programmgesteuert zu durchsuchen? Ich konnte die alte API mit JSON aus einem Java-Programm abfragen.

0 Stimmen

Ich habe eine alternative Google-Such-API verwendet. Es ist sehr einfach zu verwenden.

3 Stimmen

Es gibt auch SerpApi. Das ist eine solide Lösung für die Google-Suche und andere Suchmaschinen.

1 Stimmen

Serphouse.com ist eine großartige Lösung, um Daten über eine API zu erhalten.

501voto

Bangkokian Punkte 6334

Ja, Google Custom Search hat jetzt die alte Search API ersetzt, aber du kannst Google Custom Search immer noch verwenden, um das gesamte Web zu durchsuchen, auch wenn die Schritte nicht offensichtlich aus dem Custom Search-Setup sind.

Um eine Google Custom Search-Engine zu erstellen, die das gesamte Web durchsucht:

  1. Von der Google Custom Search-Homepage (http://www.google.com/cse/) auf Erstellen einer benutzerdefinierten Suchmaschine klicken.
  2. Geben Sie einen Namen und eine Beschreibung für Ihre Suchmaschine ein.
  3. Unter Definieren Sie Ihre Suchmaschine geben Sie im Feld Websites durchsuchen mindestens eine gültige URL ein (Setzen Sie jetzt einfach www.anyurl.com ein, um dieses Fenster zu überspringen. Mehr dazu später).
  4. Wählen Sie die gewünschte CSE-Edition aus und akzeptieren Sie die Nutzungsbedingungen, klicken Sie dann auf Weiter. Wählen Sie die gewünschte Layout-Option aus und klicken Sie dann auf Weiter.
  5. Klicken Sie auf einen der Links im Abschnitt Nächste Schritte, um zu Ihrem Kontrollpanel zu gelangen.
  6. Im linken Menü unter Kontrollpanel auf Basics klicken.
  7. In der Abschnitt Sucheinstellungen die Option Das gesamte Web durchsuchen, aber enthaltene Websites hervorheben wählen.
  8. Klicken Sie auf Änderungen speichern.
  9. Im linken Menü unter Kontrollpanel auf Websites klicken.
  10. Löschen Sie die Website, die Sie während des anfänglichen Einrichtungsvorgangs eingegeben haben.

Jetzt wird Ihre benutzerdefinierte Suchmaschine das gesamte Web durchsuchen.

Preisgestaltung

  • Google Custom Search bietet Ihnen 100 Abfragen pro Tag kostenlos.
  • Danach zahlen Sie $5 pro 1000 Abfragen.
  • Es gibt ein Maximum von 10.000 Abfragen pro Tag.

Quelle: https://developers.google.com/custom-search/json-api/v1/overview#Pricing


  • Die Suchqualität ist viel niedriger als bei der normalen Google-Suche (keine Synonyme, "Intelligenz" usw.)
  • Es scheint, dass Google sogar plant, diesen Dienst vollständig einzustellen.

28 Stimmen

Vielen Dank dafür. Hoffentlich handelt es sich hierbei um ein gültiges Verfahren und nicht um eine Lücke, die von Google geschlossen werden muss!

2 Stimmen

Bestätigt, dass es funktioniert. Die Ergebnisse sind jedoch etwas anders als bei einer Live-Suche. Irgendwelche Ideen dazu? Das API von Bing hat das gleiche Problem.

9 Stimmen

Vielen Dank! Dies ist möglicherweise die einzige Antwort im Internet, die meine Frage behandelt hat. Es ist erstaunlich, warum Google die direkte API-Unterstützung für ihren Kernservice eingestellt hat.

59voto

Tom Punkte 16139

Google Custom Search (wie in den Top-Antworten empfohlen) funktioniert gut, ist aber im Vergleich zu seinen Konkurrenten (unten) oder im Vergleich zu anderen Google-APIs sehr teuer. Es hat eine kleine kostenlose Stufe (100 Abfragen/Tag) und einen sehr hohen Preis von 5 $ pro 1000 Abfragen.

Sie bieten die Möglichkeit, auf die Site-Suche zu aktualisieren, die etwas bessere Preise hat, aber für die Suche auf einer Website (Ihrer eigenen) gedacht ist, so dass es wirklich etwas ganz anderes ist - kein Upgrade.

Die Hauptalternativen scheinen zu sein:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Die eine kostenlose Stufe von 5000q/Monat hat und Preise beginnen bei 5 Abfragen pro Penny, ohne harte Grenze.

UPDATE: Ende 2016 wurde diese API zugunsten ihrer Azure-Version "Cognitive Services Bing Search API" eingestellt:
https://azure.microsoft.com/de-de/services/cognitive-services/search/

Hier finden Sie eine Preisübersicht, die bei US$3/Monat für 1.000 Transaktionen beginnt. Es scheint recht teuer zu sein, es sei denn, ich übersehe etwas.

Yahoo BOSS Search API
UPDATE: Wurde am 31. März 2016 eingestellt. http://developer.yahoo.com/boss/search/
Mit Preisen ab etwa 12 Abfragen/Penny für Websuchen.

Und einige, von denen ich noch nichts gehört habe:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[eingestellt - wie unten darauf hingewiesen wurde]

Es gibt etwas Diskussionen über einige davon in diesem SO-Beitrag.
[wurde geschlossen, da er off-topic war und ist jetzt weg]

2 Stimmen

Die Bing Search API Version 5 erlaubt jetzt bis zu 1.000 Transaktionen pro Monat über alle Bing Search APIs (Web, Bilder, Video, Nachrichtensuche) - microsoft.com/cognitive-services/en-us/pricing . Ich habe einige Beispiele zusammengestellt - mvark.blogspot.in/2016/06/…

0 Stimmen

Entireweb.com hat den Service eingestellt, wie hier zu sehen ist entireweb.com/services

1 Stimmen

Am 15. Dezember 2016 wird die Bing Web Search API unter die Cognitive Services des Azure Marketplace (azure.microsoft.com/de-de/services/cognitive-services/searc‌​h) verschoben, für die eine Telefon- und Kreditkartenverifizierung für ein Abonnement erforderlich ist (auch für ein kostenloses).

41voto

Zimm3r Punkte 3273

Sie könnten sie einfach so senden, wie es ein Browser tut, und dann das HTML parsen, das habe ich schon immer gemacht, auch für Dinge wie Youtube.

0 Stimmen

Ich brauche wirklich einen ordentlichen API-Aufruf, da ich vorhabe, viele Aufrufe zu machen.

66 Stimmen

Mir wurde gesagt, dass die Nutzungsbedingungen von Google das Durchsuchen verbieten...

56 Stimmen

Aus den AGB: "Sie stimmen ausdrücklich zu, nicht auf die Dienste über automatisierte Mittel (einschließlich der Verwendung von Skripten oder Web-Crawlern) zuzugreifen (oder zu versuchen, darauf zuzugreifen)..."

26voto

Yishu Fang Punkte 8838

Hier ist eine Option am unteren Rand des Custom Search Steuerfelds: "Zu durchsuchende Websites", Sie können "Das gesamte Web durchsuchen, aber prioritär die enthaltenen Websites" auswählen

Custom Search Steuerfeld - Zu durchsuchende Websites

1 Stimmen

Funktioniert es immer noch für dich?

0 Stimmen

Ja, es funktioniert immer noch.

5 Stimmen

Google zwingt Sie, diese Option auszuschalten, wenn Sie auf die kostenpflichtige Suche umsteigen. Und kostenlos hat eine Begrenzung von 100 Suchanfragen.

14voto

Jack Punkte 3853

Faroo hat eine kostenlose Web Search API

0 Stimmen

Ihre Ergebnisse scheinen begrenzt, aber ein guter Ausgangspunkt zu sein.

0 Stimmen

@Jack, Das habe ich noch nicht gehört. Woher beziehen sie ihre Suchergebnisse?

7 Stimmen

Möglicher deal breaker für Faroo ist, dass Ihr API-Schlüssel auf die IP-Adresse beschränkt ist, die Sie bei der Registrierung angeben.

CodeJaeger.com

CodeJaeger ist eine Gemeinschaft für Programmierer, die täglich Hilfe erhalten..
Wir haben viele Inhalte, und Sie können auch Ihre eigenen Fragen stellen oder die Fragen anderer Leute lösen.

Powered by:

X