这里是我自己整理的一些资料,大家不懂的可以相互学习呀。。。

MYSQL数据库超大级别数据读

PHP ZZT 1428次浏览 已收录 0个评论

场景:当数据量达到一定千万级别的记录,且查询的字段又多的时候,此时将查询数据的缓存全部存储在php的内存当中会导致内存溢出。

数据库查询:

//$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$startMemory = memory_get_usage();
function getDb(){
    global $pdo;
    while($row=$stat->fetch()){
        yield $row;
    }
}

foreach(getDb() as $key=>$val){
    echo "已经使用内存数量:",(memory_get_usage()-$startMemory)/(1024*1024),"数量id:";      
    print_r($val['id']);echo "<br>";
}
exit;

当使用上面语句查询的时候本地48万条数据,12列字段,大部分以varchar格式存储,
可以看到查询的资源型数据存储在内存中已经使用了31M内存,但是将上面代码的注释段数据撤销之后数据没有存储在运行内存之中,理论上来说可以无限取mysql中的数据。
使用yield生成器将每次获取的单条数据进行处理(总数据存储在运行内存中会内存溢出)查询缓存存储在运行内存中
查询缓存不存储在运行内存中


乐趣公园 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明MYSQL数据库超大级别数据读
喜欢 (1)

文章评论已关闭!