download_from_ccdb
2016-08-15 15:10:49 0 举报
`download_from_ccdb` 是一个用于从 Common Crawl DataBase (CCDB) 下载数据的函数或方法。Common Crawl 是一个大规模的网页抓取项目,旨在收集互联网上的公开可用的网页数据。通过使用 `download_from_ccdb`,您可以方便地获取这些数据,以便进行进一步的分析、挖掘或其他用途。 请注意,这个函数或方法的具体实现和参数可能因编程语言和库的不同而有所不同。在使用之前,请确保查阅相关文档以了解如何正确使用它。
作者其他创作
大纲/内容
map.tasks = 300
download from ccdb for each cacheid loacallyjust once.ignore size
reduce
contsign lst
map
reduce.tasks=1000
ccdb_cacheid \\t contsign
0 条评论
下一页