php导致内存溢出
admin
2023-02-12 03:00:07
0

在执行一个导出csv脚步时,当要导出的数据超过3w多条时,就会报错,如下:

Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)

php存储3w多条数据这个数组占用内存超过20M

解决方法:分批取数据,分批处理数据
问题点:一次取多少数据最合适
一次取1w条,减少数据库IO操作次数,但php数组就好较大
一次取1k条,增加了数据库IO操作次数,php数组很小

php导致内存溢出

数据一共41000条
因为是循环查询数据,只能返回空,所以会有一次无效的IO查询

每次请求次数 响应时间 数组库IO次数
5000 11.34 10
1000 8.02 6
2000 7.07 4
3000 5.12 3
4000 4.93 3

综合考虑,觉得使用每次请求1w条数据

代码简单记录下

$filename = '测试';
$head  = array('申请时间', '省', '市', '超市品牌');
$field = array('created_time', 'pro_name', 'city_name', 'brand_name');
$csv   = ExportCsvService::getInstance(implode(",", $head), $field, $filename);

$param['limit'] = C('SQL_LIMIT');
$i              = 0;
while (true) {
        $param['current'] = $i + 1;
        $info             = $rainbowservice->get_list($param)['data']['list'];

        if (empty($info)) {
                $csv->end();
                break;
        } else {
                $csv->sendDate($info);
        }
        unset($info);
        $i++;
}

csv操作类


class ExportCsvService
{

    private $content;
    private $filename;
    private $field;
    private static $instance;

    private function __construct($head,$field,$filename)
    {
        $this->field = $field;
        $this->filename = $filename;
        $this->content  = iconv('UTF-8', 'GBK',$head) . PHP_EOL;
    }

    /**
     * 实例化服务类
     * @param $head
     * @param $field
     * @param $filename
     * @return ExportCsvService
     */
    public static function getInstance($head,$field,$filename) {
        if (!self::$instance instanceof self) {
            self::$instance = new self($head,$field,$filename);
        }
        return self::$instance;
    }

    /**
     * 拼接要导出的数据
     * @param $data
     */
    public function sendDate($data) {

        foreach ($data as $key => $value) {
            $temp = [];
            foreach ($this->field as $k) {
                $temp[] = iconv('UTF-8', 'GBK', $value[$k]);
            }

            $this->content .= implode(",", $temp) . PHP_EOL; //用英文逗号分开
            unset($temp);
        }
    }

    /**
     * 输出数据
     */
    public function end() {
        header("Content-type:text/csv;charset=GBK");
        header("Content-Disposition:attachment;filename=" . $this->filename);
        header('Cache-Control:must-revalidate,post-check=0,pre-check=0');
        header('Expires:0');
        header('Pragma:public');
        echo $this->content;
    }

}

相关内容

热门资讯

德国总理:美国正在被伊朗羞辱 德国之声4月27日报道,德国总理默茨在访问一所学校时表示,在当前的持续冲突中,伊朗领导层正试图羞辱美...
理响中国|“长”歌以行,风云激... 光阴如梭,东方潮阔。这里是中国的长三角,世界的长三角。无论过去、现在还是未来,这片土地都因时代而生,...
白宫:特朗普及其国安团队开会讨... 新华社华盛顿4月27日电 美国白宫新闻秘书莱维特27日在记者会上证实,总统特朗普及其国家安全团队当天...
人民日报刊文:日本放开杀伤性武... 日本放开杀伤性武器出口推高地缘冲突风险(国际论坛)常思纯《人民日报》(2026年04月28日 第 0...
医疗保障法草案二审:明确生育保... 满足多样化健康保障需求本报记者 彭 波4月27日,医疗保障法草案二审稿提请十四届全国人大常委会第二十...
天津一景区发生自转旋翼机事故1... 澎湃新闻记者 吕新文中国民用航空华北地区管理局4月22日公布《豪客通航“10•1”天津长芦汉盐旅游区...
卡塔尔埃米尔与美国总统特朗普通... 当地时间24日,卡塔尔埃米尔塔米姆与美国总统特朗普通电话,重点就中东地区局势以及伊朗与美国谈判问题交...
男子30年前被扣押2859克黄... 澎湃新闻记者 王鑫家住辽宁省大连市的潘永嘉近日向澎湃新闻反映称,三十年前,他在大连周水子机场被盖州市...
商务部:取消反制欧盟两家金融机... 中华人民共和国商务部令二〇二六年 第1号鉴于欧盟已取消对中国两家金融机构的制裁措施,现公布《关于取消...
过去24小时共有5艘船只通过霍... 总台记者当地时间24日获悉,过去24小时内,共有5艘船只通过霍尔木兹海峡,其中包括一艘伊朗油轮。(总...