PostgreSQL DBA(179)-invalid memory alloc request size XXX

husthxd發表於2020-12-25

#### 問題描述
客戶反饋在查詢bytea欄位時,報錯:
```
atlasdb=# select * from t_bytea;
2020-12-25 15:28:18.804 CST [1884] ERROR:  invalid memory alloc request size XXX
2020-12-25 15:28:18.804 CST [1884] STATEMENT:  select * from t_bytea;
ERROR:  invalid memory alloc request size XXX
```

#### 測試指令碼
構造測試指令碼
```SQL
drop table t_bytea;
create table t_bytea(id int,c1 bytea);

truncate table t_bytea;
insert into t_bytea values(1,E'\\000');

select * from t_bytea;

-- 插入256M特殊字元(ASCII 0)
do
$$
declare
begin
	for i in 1..28 loop
		update t_bytea set c1 = c1||(select b.c1 from t_bytea b);
	end loop;
end
$$;

select length(c1) from t_bytea;

-- bytea_output='escape',出錯!
set bytea_output='escape';
select * from t_bytea;

-- bytea_output='hex',不出錯
set bytea_output='hex';
select * from t_bytea;

-- 加大到512M特殊字元
update t_bytea set c1 = c1||(select b.c1 from t_bytea b);

-- bytea_output='hex',出錯!
set bytea_output='hex';
select * from t_bytea;
```

#### 原因分析
bytea_output有兩種輸出方式,一種是hex,即十六進位制輸出,一種是escape即跳脫字元輸出.
1.hex格式
記憶體申請的上限是1G - 1,理論上欄位最大值為(512M-2)個位元組,其中需預留2個位元組用於輸出\(因為"\"是跳脫字元,因此需2個位元組儲存"\\"),1個位元組用於輸出"x"
即:
```
atlasdb=# truncate table t_bytea;
TRUNCATE TABLE
atlasdb=# insert into t_bytea values(1,E'\\000');
INSERT 0 1
atlasdb=#
atlasdb=# select * from t_bytea;
 id |  c1
----+------
  1 | \x00
(1 row)

```

2.escape輸出
這種格式輸出涉及3種型別的字元:
A."\",由於該字元是跳脫字元,因此需要前面加"\",需要2個位元組的空間,輸出為"\\"
B.特殊編碼字元,所謂的特殊編碼是指單位小於0x20和大於0x7E的十六進位制值,輸出格式為"\nnn",需要4個位元組的空間,如ASCII 0,輸出為"\000"
C.普通的ASCII字元,如a,b,A,+,-等等,直接輸出,只需要1個位元組的空間,輸出為a,b,A,+,-等
理論上,如果bytea欄位中儲存的全部都是特殊編碼十六進位制值,那麼該欄位最大隻能是256MB.
```
atlasdb=# set bytea_output='escape';
SET
atlasdb=# select * from t_bytea;
 id |  c1
----+------
  1 | \000
(1 row)

```

#### 原始碼解讀
```C
Datum
byteaout(PG_FUNCTION_ARGS)
{
	bytea	   *vlena = PG_GETARG_BYTEA_PP(0);
	char	   *result;
	char	   *rp;

if (bytea_output == BYTEA_OUTPUT_HEX)//hex格式
	{
		/* Print hex format */
		rp = result = palloc(VARSIZE_ANY_EXHDR(vlena) * 2 + 2 + 1);
		*rp++ = '\\';//上面分配空間時額外的2個位元組,即2+1中的2
		*rp++ = 'x';///上面分配空間時額外的1個位元組,即2+1中的1
		rp += hex_encode(VARDATA_ANY(vlena), VARSIZE_ANY_EXHDR(vlena), rp);
	}
	else if (bytea_output == BYTEA_OUTPUT_ESCAPE)//escape格式
	{
		/* Print traditional escaped format */
		char	   *vp;
		uint64		len;
		int			i;

len = 1;				/* empty string has 1 char */
		vp = VARDATA_ANY(vlena);
		for (i = VARSIZE_ANY_EXHDR(vlena); i != 0; i--, vp++)
		{
			if (*vp == '\\')//字元"\",申請2個位元組,即"\\"
				len += 2;
			else if ((unsigned char) *vp < 0x20 || (unsigned char) *vp > 0x7e)
				len += 4;//小於0x20 和 大於0x7E,申請4個位元組,輸出格式為:\XXX,如\000
			else
				len++;//常規的ASCII字元,如a,b,A等字元,只需要1個位元組
		}
	......
```

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/6906/viewspace-2745504/，如需轉載，請註明出處，否則將追究法律責任。

相關文章

PostgreSQL Detail: Failed on request of size 8192 in memory context "ErrorContex
2022-06-29
SQLAIContextError
PostgreSQL DBA(95) - PG 12 Partition(out of shared memory)
2019-09-23
SQL
PostgreSQL DBA(152) - pgAdmin（log_XXX parameter：when）
2019-12-27
SQL
PostgreSQL DBA(153) - pgAdmin（log_XXX parameter：what）
2019-12-30
SQL
PostgreSQL DBA(151) - pgAdmin（log_XXX parameter：where）
2019-12-26
SQL
PostgreSQL DBA(56) - Why does checkpointer use so much memory
2019-07-16
SQL
Allowed memory size 記憶體不足
2020-09-18
記憶體
PHP Fatal error: Allowed memory size of 1610612736 bytes
2021-03-27
PHPError
PostgreSQL DBA(45) - Hypothetical Indexes in PostgreSQL
2019-06-27
SQLIndex
ORA-27121: unable to determine size of shared memory segment
2019-03-28
influxdb報錯：cache-max-memory-size exceeded
2023-11-01
UX
zblog顯示Allowed memory size of 6553652 bytes exhauste
2024-09-18
PostgreSQL DBA(58) - DBLink
2019-07-18
SQL
PostgreSQL DBA(35) - CTE
2019-06-03
SQL
PostgreSQL DBA(42) - locale
2019-06-25
SQL
PostgreSQL DBA(191) - Collation
2022-04-30
SQL
PostgreSQL DBA(185) - watch
2021-09-17
SQL
PostgreSQL DBA(182) - HOT
2021-05-24
SQL
PostgreSQL DBA(133) - Extension(postgresql_anonymizer)
2019-11-19
SQL
PostgreSQL DBA(181) - Using PostgreSQL as a Data Warehouse
2021-05-20
SQL
kafka報錯：InvalidReceiveException: Invalid receive (size = 1195725856 larger than 104857600)
2024-07-24
KafkaException
PostgreSQL DBA(91) - PG upgrade
2019-09-12
SQL
PostgreSQL DBA(59) - Index(Bloom)
2019-07-18
SQLIndexOOM
PostgreSQL DBA(150) - Extension(pgmetrics)
2019-12-19
SQL
PostgreSQL DBA(52) - Index(RUM)
2019-07-10
SQLIndex
PostgreSQL DBA(47) - Index(Btree)
2019-07-02
SQLIndex
PostgreSQL DBA(48) - Index(GiST)
2019-07-04
SQLIndex
PostgreSQL DBA(51) - Index(GIN)
2019-07-09
SQLIndex
PostgreSQL DBA(43) - Index(Hash)
2019-06-26
SQLIndex
PostgreSQL DBA(53) - Index(BRIN)
2019-07-11
SQLIndex
PostgreSQL DBA(187) - TCP keepalive
2022-02-15
SQLTCP
PostgreSQL DBA(186) - SQL Group By
2022-02-11
SQL
PostgreSQL DBA(184) - Extension(hypoPG)
2021-06-17
SQL
PostgreSQL DBA(142) - PG 12（Monitoring PostgreSQL VACUUM processes）
2019-12-10
SQL
PostgreSQL DBA(7) - pgbench簡介
2018-09-28
SQL
PostgreSQL DBA(8) - sysbench簡介
2018-09-28
SQL
PostgreSQL DBA(136) - Develop(Common Mistakes)
2019-12-03
SQLdev
PostgreSQL DBA(125) - PG 12（TPCC）
2019-11-11
SQL