开发者学堂课程【大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段：最终整体回顾（代码-离线计算）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：/learning/course/675/detail/11745
最终整体回顾（代码-离线计算）
内容简介
一、数据备份
二、数据恢复
三、离线数据支撑
四、离线计算
一、数据备份
需求
为反之 redis 中的数据丢失，所以将数据备份于 HDFS
把数据再录到 redis 的同时，收集过来数据，然后把它写到 HDFS 上面，就备份好了。
二、数据恢复
需求
数据丢失需要恢复
代码：
黑名单 Redis 数据恢复
BlackListToRedis.blackListDataToRedis(jedis,sc,sqlContext)
在这个界面，如果需要恢复，那我们就去把这个值逻辑词里面这个值改成 yes 就可以了，然后，它就自动就恢复过来了。这个是恢复的代码。
三、离线数据支撑
从 Kafka 当中读取过来预处理后的数据，拿过来直接写到HDFS里面，这个就是写入到 HDFS 的过程。
然后再拿了一个预处理后的数据写到 HDFS，写完以后，我们又做了一个监控，而这个监控指的是爬虫识别的监控，而这个爬虫识别的监控与数据预处理的监控，他们的这个逻辑思想和和这个代码基本上是一致的，只有很小一部分不一样。
四、离线计算
因为一开始的数据用不了，所以要先进行处理
处理完以后，我们去进行离线分析，先把数据分为两批数据，一个是爬虫这个数据预处理后的结果，还有一个是计算出来的爬虫数据，这两个爬虫数据让他们俩去进行碰撞碰撞，然后筛选出一些纯爬虫数据
然后再往后过滤字段啊，可能有二十几个字的，就用6个就够了，写了两个自定义函数定义函数。
根据把前面写的这两个字对应函数用起来，拿到以后利用这6个字段去进行离线报表的计算，这里面国内查询的国际查询的转化率，这几个转化率我们带着一个一个走了一遍，包括这里面先过滤出，哪一个操作第1步先过滤从哪个操作第2步用谁除以谁，这边写的清清楚楚。
注意：
1代表国际数据，0代表国内数据。
这两个点的变化。第2个国际查询和国内查询是一样的，一样的操作就换一下，上面是国内，这个是国际，换一下这个值就可以。
国内航班选择、国际航班选择爬虫转化率、正常用户转化率全部用合理的后面的代码，离线计算就统计完了。
