Nutch Keine Agenten in 'http.agent.name' aufgeführt

Question

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
        at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)
        at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1068)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:135)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

Jedes Mal, wenn ich ./nutch crawl urls -dir crawl -depth 3 -topN 5 ausführe, beschließt nutch, diesen Fehler zu melden. Ich habe sowohl meine nutch-site.xml als auch nutch-default.xml mit gesetzt.

 <property>
  <name>http.agent.name</name>
  <value>blah</value>
  </property>

Ich habe die Beschreibung herausgenommen, damit sie leichter zu lesen ist. Aber ich sehe nicht, wo sonst der Agent Name angegeben werden kann. wenn jemand einen Rat hat, wäre ich dankbar.

Answer 1

1.3 verwenden? Wenn ja, stellen Sie sicher, dass Sie nutch-site.xml (und nicht default) in runtime/local/conf geändert haben. Eine Änderung der Conf in NUTCH_HOME/conf wird nicht in die Runtime-Verzeichnisse kopiert, es sei denn, Sie bauen sie mit ant neu.

Answer 2

Versuchen Sie auch, den Agentennamen für http.robots.agents anzugeben. Bei mir hat es funktioniert. Danach habe ich diese Meldung nicht mehr erhalten!!!