PHP 爬虫踩坑实践

发表于2019-01-09|更新于2019-01-09|编程语言踩坑教训

|评论数:

诶最近总是踩坑实践 … 然后未完待续 .

今天接到需求需要抓 https://coinmarketcap.com 下各交易平台数据.

爬虫选型当然是python, but 身为phper 不用 php 写一下我怎么会死心呢!!!

前两天找 swoole 客户端的轮子 Saber 很人性化, 官方推荐的果然不错.

人性化使用风格, ajax.js/axios.js/requests.py用户福音, 同时支持PSR风格操作

好吧我就用它了 !

部分代码展示:


$url = 'https://coinmarketcap.com/zh/exchanges/binance/';

go(function () use ($url) {
            [$repsonse] = SaberGM::list(['uri' => $url, 'proxy' => ['http://127.0.0.1:1234']]);

            $repsonse->getParsedDomObject()->
            getElementById('exchange-markets')->
            getElementsByTagName('tbody')->
            item(0)->
            getElementsByTagName('tr')->
            textContent;
  });

代码语法风格是不是很熟悉 .

先说踩得第一个坑

PHP Fatal error: Class 'DOMDocument' not found

写的很明白我没有 dome 类百度一下 yum install php-xml, 试了下当然不好使了 , 因为我的开发环境是 php7.2

yum search xml
yum install -y php72-php-xml.x86_64

好了这个坑就填完了

未完待续/…

文章作者: Leon

文章链接: https://tago.top/archives/03d1af3b.html

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Leon！

相关推荐

分割PHP配置文件 php.ini

分割PHP配置文件的方法编译php 时增加如下参数 ./configure --with-config-file-scan-dir=PATH --wi... 这个是指定附加的ini配置文件的目录位置，此目录下的ini文件会被追加到php.ini配置中。我们可以在 PATH 目录下创建分割配置文件 $ cat redis.ini extension=/usr/local/php7/lib/php/extensions/no-debug-non-zts-20180731/redis.so

[踩坑] Base64_decode 导致 Malformed UTF-8 characters, possibly incorrectly encoded

$str = 'good, luck';$content = base64_decode($str);var_dump($content);$content = $content ?: $str;echo \json_encode($content), PHP_EOL;echo json_last_error_msg(),PHP_EOL; output… $ string(6) ""$ Malformed UTF-8 characters, possibly incorrectly encoded 问题如上, 特殊场景正常字符串使用 base64_decode 解码字符串异常解码输出虽然是 “” 但实际上编码已发生改变.修复上述问题. # 二参数 strict 当设置 strict 为 true 时，一旦输入的数据超出了 base64 字母表，将返回 false。否则会静默丢弃无效的字符。$content = base64_decode($str, true); 上面的 base64_decode 二参数亲测不咋好用呀 ‘...

PHP函数file_get_contents()使用 https 协议时报错：SSL operation failed

场景：file_get_contents() 函数是用于将文件的内容读入到一个字符串中，是读取文件内容常用的函数之一。但是有时在服务器上使用file_get_contents() 函数请求https 协议的url文件时会报错误，无法正确读取文件内容，查看log日志，日志内容类似如下： PHP Warning: file_get_contents(): Failed to enable crypto in ......PHP Warning: file_get_contents......: failedream: operation failed in ......PHP Warning: file_get_contents(): SSL operatwith code 1. OpenSSL Error messages:error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verin ...... 原因：服务器未正确配置好https证书解决方法：（三种解决方法）方法一：下载ht...

PHP设计模式：适配器模式

设计模式在软件开发中扮演着重要的角色，它们提供了一种结构化的方法来解决特定问题并提高代码的可维护性和可重用性。在PHP开发中，适配器模式是一种常用的设计模式，它允许不兼容的接口之间进行协同工作。适配器模式的基本概念适配器模式是一种结构型设计模式，它允许将一个类的接口转换成另一个类的接口，从而使不兼容的类能够一起工作。适配器模式通过创建一个适配器类来实现这种转换。适配器模式由以下组件组成：目标接口（Target Interface）：定义了客户端代码使用的接口。它是客户端期望的接口。适配器类（Adapter Class）：实现了目标接口，并将客户端代码的调用转发给被适配者。被适配者（Adaptee）：包含客户端代码所期望的功能，但其接口与目标接口不兼容。适配器模式在PHP中的应用在PHP开发中，适配器模式可以用于许多场景，特别是在需要将现有代码与新代码或第三方库进行协同工作时。以下是一些使用适配器模式的示例：数据库适配：当您需要将现有的数据库访问代码与不同的数据库引擎进行协同工作时，可以使用适配器模式。您可以创建一个适配器类，将现有的数据库访问接口转换为特定...

PHP 大整数 / 科学计数法转字符串

json 数据格式中大整数解开会被转换为科学计数法使用 JSON_BIGINT_AS_STRING json_decode 官方文档 json_decode($var, true, '512', JSON_BIGINT_AS_STRING) PHP 科学计数法转字符串<?PHP function ScToNum($num) { $numer = strtoupper($num); $parts = explode('E', $numer); list($int, $ex_str) = $parts; $exp = $ex_str[0]; $var = substr($ex_str, 1); if ($exp == '+') { return bcmul($int, bcpow(10, $var)); } return bcdiv($int, bcpow(10, $var));}

PHP设计模式：命令模式

概述命令模式是一种行为型设计模式，它将请求封装成一个独立的对象，从而使不同的请求可以被参数化，并且能够将请求的发起者与请求的接收者解耦。适用场景命令模式适用于以下情况：当需要将请求发送者和请求接收者解耦时。当需要在不同的时间指定、排队和执行请求时。当需要支持撤销和重做操作时。结构命令模式由以下组件组成：命令（Command）：命令接口定义了执行命令的方法。具体命令（Concrete Command）：具体命令类实现了命令接口，并将命令和接收者对象进行绑定。接收者（Receiver）：接收者对象负责执行命令所对应的操作。请求者/调用者（Invoker）：请求者对象持有一个命令对象，并在需要执行命令时调用命令对象的执行方法。示例<?php// 命令接口interface Command{ public function execute();}// 具体命令Aclass ConcreteCommandA implements Command{ private $receiver; publi...

评论

数据加载中