Redis 持久化导致的阻塞问题
Redis 是一个高性能的键值存储系统，提供了多种持久化机制（RDB 和 AOF）以确保数据的持久性。然而，在某些情况下，持久化过程可能导致 Redis 的阻塞，从而影响系统性能。以下是对这个问题的深入探讨及解决方案。 1. 持久化机制概述1.1 RDB（快照持久化） 定期将数据集保存到磁盘。 通过 SAVE 或 BGSAVE 命令触发。 在后台子进程中生成快照，主进程继续处理请求。 1.2 AOF（追加文件持久化） 记录每个写操作的日志。 通过 fsync 操作将日志写入磁盘。 可以配置不同的 fsync 策略（每次、每秒、从不），影响性能和安全性。 2. 阻塞问题的原因2.1 RDB 阻塞 BGSAVE 操作可能会导致阻塞，尤其是在数据量大的时候。虽然是后台进程，但在某些情况下可能会占用过多的 CPU 资源。 生成 RDB 快照期间，Redis 会消耗大量的内存和 CPU，导致其他请求的延迟。 2.2 AOF 阻塞 AOF 的 fsync 操作会阻塞 Redis，尤其是在使用 fsync 的时候。 如果大量写操作在短时间内发生，AOF 的写入可能会造成阻塞，影响响应...
Swoole Task 阻塞 Worker 开发教训
在使用 Swoole 进行异步编程时，Task 进程是处理耗时操作的有效工具。然而，由于 Task 进程的队列机制，可能会导致阻塞，从而影响 Worker 进程的性能。以下是一些常见的坑和解决方案，以帮助您优化 Swoole Task 的使用。 1. Task 进程队列的阻塞问题描述当多个 Worker 进程同时向 Task 进程发送任务时，如果 Task 进程处理速度跟不上 Worker 进程的请求速度，就会导致 Task 进程的队列堆积。此时，如果 Task 队列满了，Worker 进程在调用 Task 时可能会被阻塞，进而影响整个应用的响应能力。 解决方案 合理设置最大任务数：在 Swoole 的配置中，可以设置 max_task_num 来限制 Task 进程的最大任务数，从而减少 Task 进程的排队压力。 swoole_set_process_name("my_task_process");$taskWorker = new Swoole\Server("127.0.0.1", 9501);$taskWorker->...
PHP 中 file_get_contents($url) 设置超时
在 PHP 中，使用 file_get_contents($url) 函数进行网络请求时，默认情况下没有超时设置。如果请求的远程 URL 响应时间过长，可能会导致脚本挂起。为了解决这个问题，可以使用 stream_context_create 函数来设置超时参数。 以下是如何设置超时的具体步骤和示例代码。 1. 设置超时的基本方法使用 stream_context_create 创建一个流上下文，并设置 http 选项中的 timeout 参数。 示例代码<?php$url = "http://www.example.com";// 设置超时为 5 秒$options = [ "http" => [ "timeout" => 5 // 超时时间（秒） ]];$context = stream_context_create($options);// 获取内容$response = @file_get_contents($url, false, $context);if ($r...
MySQL `GROUP_CONCAT` 使用及注意事项
GROUP_CONCAT 是 MySQL 中一个非常有用的聚合函数，用于将分组结果中的多个值连接成一个字符串。它通常用于将同一组中的多个行合并为一行，适用于报告和数据分析场景。 1. GROUP_CONCAT 的基本用法1.1 语法GROUP_CONCAT([DISTINCT] column_name [ORDER BY ...] [SEPARATOR 'separator']) DISTINCT：可选，用于消除重复值。 ORDER BY：可选，用于指定连接值的顺序。 SEPARATOR：可选，指定连接值之间的分隔符，默认是逗号（,）。 1.2 示例假设有一个名为 employees 的表，结构如下： idnamedepartment1AliceHR2BobIT3CharlieHR4DavidIT 连接同一部门的员工姓名SELECT department, GROUP_CONCAT(name SEPARATOR ', ') AS employee_namesFROM employeesGROUP BY department; ...
MySQL SQL 查询优化：使用 `USE`, `IGNORE`, `FORCE` 关键字
在 MySQL 中，优化查询性能是提高数据库应用效率的重要部分。USE, IGNORE, 和 FORCE 关键词可以在特定情况下增强查询的灵活性。以下是对这三个关键词的详细介绍及其使用场景。 1. USE 关键字1.1 概述USE 关键字用于指定查询所使用的数据库。如果您在一个 MySQL 服务器上有多个数据库，使用 USE 可以确保在正确的数据库上下文中执行查询。 1.2 示例USE my_database;SELECT * FROM my_table; 1.3 注意事项 确保在执行查询之前已选择正确的数据库，避免使用错误的表。 2. IGNORE 关键字2.1 概述IGNORE 关键字用于在执行某些操作时忽略错误。例如，在插入操作中，如果遇到重复键错误，使用 IGNORE 可以跳过该记录并继续执行。 2.2 示例INSERT IGNORE INTO my_table (id, name) VALUES (1, 'John'); 在这个示例中，如果 id 为 1 的记录已经存在，那么这条插入语句不会抛出错误，而是简单地忽略该操作。 2.3 使用场景...
Nginx+PHP 环境 499 错误码排查过程小记
过程0x01经搜索得知： 哪些情况下会使 Nginx 返回 HTTP CODE 499？ 即：「客户端主动关闭连接」 但某一时间段内全部请求均为返回 499，这显然不是所有客户端主动意识上的「关闭」，可能是因为客户端等待超时，自动关闭连接；加上 499 的时间段内包含部分 502，让我不得不怀疑： PHP 进程「死」了。 0x02这里的死，不一定是进程结束，也有可能是僵尸，或是陷入死循环，一直在执行某个脚本…… 若是逐个检查代码时间来不及（以先解决问题为重），遂排查： Nginx+FastCGI 到底是谁影响超时时间 以及： PHP-max_execution_time 与 fpm.request_terminate_timeout 介绍 0x03经过上面的调整，大约一周后再次维护服务器。发现情况有所改善—— 499 错误已经由某一时段大量、集中出现变为偶尔发生，且只出现在某几个特定 URI 请求上。 我决定对这几个 URI 对应的接口控制器代码进行检查。由于系统开发时间紧张，代码质量并不高，怀疑是否是程序内有 BUG。 首先查看代码执行时间，约为 1900 ms 左右，简直...
PHP 反序列化注入踩坑
运气真不错 牛市来了 服务就让人盯上了 教训很深刻 50w 的学费. 服务代买使用 php CI框架 写的. 最近线上服务器出现错误 [2019-05-15 22:03:21]127.0.0.1content: [15-May-2019 22:03:21 Asia/Shanghai] PHP Fatal error: DISEVAL - Use of eval is forbidden in /data/release/project/system/View/Parser.php(526) : eval()'d code on line 1[2019-05-15 22:03:21]127.0.0.1content: [15-May-2019 22:03:21 Asia/Shanghai] PHP Stack trace:[2019-05-15 22:03:21]127.0.0.1content: [15-May-2019 22:03:21 Asia/Shanghai] PHP 1. {main}() /data/release/project/p...
PHP 身份证号码验证方法
在 PHP 中，验证中国身份证号码的有效性是一个常见需求。身份证号码通常为 15 位或 18 位。以下是验证身份证号码的详细步骤和示例代码。 1. 身份证号码的基本规则 15 位身份证：由 15 位数字组成，通常是老旧的身份证格式。 18 位身份证：由 17 位数字和 1 位校验码组成，校验码可以是数字或字母 X（表示 10）。 校验规则 长度检查：身份证号码必须是 15 位或 18 位。 数字格式检查：身份证号码的前 17 位必须是数字，最后一位可以是 X。 地区码检查：前 6 位是地区码，必须是有效的地区编码。 出生日期检查：需要检查身份证中包含的出生日期是否有效。 校验位计算（仅适用于 18 位身份证）。 2. 示例代码以下是一个验证身份证号码的 PHP 函数示例： <?phpfunction isValidIdCard($idCard) { // 1. 检查长度 $idCard = trim($idCard); if (strlen($idCard) != 15 && strlen($idCard) != 18) ...
PHP 毫秒级时间戳与日期格式互换
在 PHP 中，处理时间戳和日期格式的转换是常见的需求。下面将介绍如何在毫秒级时间戳和日期格式之间进行互换。 1. 获取当前时间的毫秒级时间戳可以使用 microtime() 函数获取当前时间的微秒时间戳，然后将其转换为毫秒级时间戳。 示例代码// 获取当前时间的毫秒级时间戳$milliseconds = round(microtime(true) * 1000);echo "当前毫秒级时间戳: " . $milliseconds . "\n"; 2. 毫秒级时间戳转换为日期格式要将毫秒级时间戳转换为日期格式，可以使用 DateTime 类或 date() 函数。 使用 DateTime 类$milliseconds = 1633036800000; // 示例毫秒级时间戳$datetime = DateTime::createFromFormat('U.u', sprintf('%d.%03d', floor($milliseconds / 1000), $milliseconds % 100...
/tmp 下产生大量 swoole.task 临时文件 磁盘空间打满问题
今天一台测试服务器 /tmp 下产生大量 swoole.task 临时文件 大概几十万个 将磁盘打满了 大概时间也就7天以内 , 这些文件什么鬼 ?? 是worker to task 的队列长度堵塞 生成的文件吗? 在测试服务器上, 有很多 swoole 服务程序, swoole.task 临时文件仍在增长, 所以我就依次 kill 服务. 终于找到问题服务在哪里了这个服务的 task进程 子进程 manager进程 都已经死掉了. ====================== 活着的进程 ================================root 4651 11357 0 17:31 pts/0 00:00:00 Knock-swoole-main-master root 4741 1 0 17:31 pts/0 00:00:07 Knock-swoole-worker-0 ====================== 死掉的进程 ================================root...
