Perl大数据通过亚马逊电影评论的数据包抓取电影名称

原创博客，转载请联系博主！

题外话：perl文档大部分都是英文，而且很少有完整中文的使用手册，希望我的perl代码可以帮助喜爱perl且希望进步的人！ 

读这篇文章你可以了解：

1.Perl多线程同步并行的几种方法及实现

2.Perl与mysql/mariadb的通信

3.如何利用Perl处理串的优势，直接快速锁定HTML文档中的目标，避免庞杂的HTML树结构搭建过程

你也会同时了解到以下的Perl编程技巧：

（1）利用perl的内置哈希结构迅速实现“去重”

（2）滑窗法/栈法实现线程并行

（3）分段法实现线程并行

（4）如何解决can't locate object method '_uric_escape'..报错

（5）如何利用HTML::TreeBuilder创建一个完整描述一份HTML文档的数据结构

任务目标：

　　这其实是斯坦福大学计算机专业的一次课程作业：http://snap.stanford.edu/data/web-Movies.html

　　在以上的链接中的 movies.txt.gz 文件大小为3G左右，解压后的电影评论有9G左右，我们需要做的事情就是围绕这个解压后的movies.txt文件中的内容而展开的！

　　先大概介绍下具体要做的是什么事情：

　　1. 首先需要从movies.txt文件中扫描出来所有的叫做productId的字符串，这里有一个去重的过程，再导入数据库，文件中的格式大致是这个样子的。

product/productId: B00006HAXWreview/userId: A1RSDE90N6RSZFreview/profileName: Joseph M. Kotowreview/helpfulness: 9/9review/score: 5.0review/time: 1042502400review/summary: Pittsburgh - Home of the OLDIESreview/text: I have all of the doo wop DVD's and this one is as good or better than the 1st ones. Remember once these performers are gone, we'll never get to see them again.Rhino did an excellent job and if you like or love doowop and Rock n Roll you'll LOVE this DVD !!

海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理：https://www.xlkjsw.com

原标题：Perl大数据通过亚马逊电影评论的数据包抓取电影名称

关键词：