Luaのstring原理
5754 ワード
概要
通常、1つの文字列を表す場合、コアは以下の2つのデータです:(1)文字列の長さ;(2)文字列メモリデータを格納するポインタを指す.luaでは、文字列は実際には内化されたデータである.内化とはlua文字列を格納する変数のことであり、実際に格納されているのは文字列データのコピーではなく、この文字列データの参照である.このコンセプトでは、文字列を新しく作成するたびに、まず現在のシステムに同じ文字列データがあるかどうかを確認します.ある場合は直接多重化し、既存の文字列を直接指します.そうしないと、新しい文字列データが再作成されます.
内化を使う利点は、時間的に.文字列の検索と比較操作を行うと、パフォーマンスが大幅に向上します.従来の文字列の比較アルゴリズムは、文字列長に基づいてビット単位で行われ、この時間複雑度は文字列長と線形に相関する.一方,内化後,既知の文字列ハッシュ値の場合,整数の比較は1回でよい.空間上.内部化されているため、同じ文字列はすべてメモリを共有します.これにより、同じ文字列によるメモリ消費量が大幅に削減されます.欠点は、文字列を作成するたびに、luaで文字列を検索するのに消費されないように、検索のプロセスが1回多くなることです.
内部化を実現するには、lua仮想マシンに現在のシステム内のすべての文字列をグローバルに格納する必要があります.これにより、文字列を新しく作成するときに、同じ文字列がすでに存在するかどうかを確認し、lua仮想マシンはハッシュバケツを使用して文字列を管理します.
文字列データ構造
文字列を格納するハッシュバケツの数を再割り当て
文字列の内部化はハッシュバケツを使用してデータを格納するため、文字列データが非常に多い場合、ハッシュバケツの数を再割り当てし、バケツごとに割り当てられたデータ量を低減します.これは
新しい文字列を作成するプロセス:
(1)新しく作成する文字列に対応するハッシュ値を計算する.(2)ハッシュ値に基づいて対応するハッシュバケツを見つけ、そのハッシュバケツのすべての要素を遍歴し、同じ文字列を見つけることができれば、説明前に同じ文字列が存在していたので、新しい文字列データを再割り当てする必要がなく、直接返すことができる.(3)(2)ステップ目に同じ文字列が見つからない場合、
文字列接続
文字列はluaでは可変のデータであり、文字列変数のデータを変更しても元の文字列のデータには影響しません.文字列接続オペレータは、毎回新しい文字列が生成されるため、できるだけ使用しないでください.tableを使用して文字列バッファをシミュレートすることができ、接続オペレータの大量使用を回避し、性能を大幅に向上させることができる.concat().
通常、1つの文字列を表す場合、コアは以下の2つのデータです:(1)文字列の長さ;(2)文字列メモリデータを格納するポインタを指す.luaでは、文字列は実際には内化されたデータである.内化とはlua文字列を格納する変数のことであり、実際に格納されているのは文字列データのコピーではなく、この文字列データの参照である.このコンセプトでは、文字列を新しく作成するたびに、まず現在のシステムに同じ文字列データがあるかどうかを確認します.ある場合は直接多重化し、既存の文字列を直接指します.そうしないと、新しい文字列データが再作成されます.
内化を使う利点は、時間的に.文字列の検索と比較操作を行うと、パフォーマンスが大幅に向上します.従来の文字列の比較アルゴリズムは、文字列長に基づいてビット単位で行われ、この時間複雑度は文字列長と線形に相関する.一方,内化後,既知の文字列ハッシュ値の場合,整数の比較は1回でよい.空間上.内部化されているため、同じ文字列はすべてメモリを共有します.これにより、同じ文字列によるメモリ消費量が大幅に削減されます.欠点は、文字列を作成するたびに、luaで文字列を検索するのに消費されないように、検索のプロセスが1回多くなることです.
内部化を実現するには、lua仮想マシンに現在のシステム内のすべての文字列をグローバルに格納する必要があります.これにより、文字列を新しく作成するときに、同じ文字列がすでに存在するかどうかを確認し、lua仮想マシンはハッシュバケツを使用して文字列を管理します.
文字列データ構造
/*
** Header for string value; string bytes follow the end of this structure
** (aligned according to 'UTString'; see next).
*/
typedef struct TString {
CommonHeader;
lu_byte extra; /* reserved words for short strings; "has hash" for longs */ // , , , Hash
lu_byte shrlen; /* length for short strings */
unsigned int hash; //
union {
size_t lnglen; /* length for long strings */
struct TString *hnext; /* linked list for hash table */
} u;
} TString;
/*
** Ensures that address after this type is always fully aligned.
*/
typedef union UTString {
L_Umaxalign dummy; /* ensures maximum alignment for strings */
TString tsv;
} UTString;
文字列を格納するハッシュバケツの数を再割り当て
文字列の内部化はハッシュバケツを使用してデータを格納するため、文字列データが非常に多い場合、ハッシュバケツの数を再割り当てし、バケツごとに割り当てられたデータ量を低減します.これは
luaS_resize
によって実現された./*
** resizes the string table
*/
void luaS_resize (lua_State *L, int newsize) {
int i;
stringtable *tb = &G(L)->strt;
if (newsize > tb->size) { /* grow table if needed */
luaM_reallocvector(L, tb->hash, tb->size, newsize, TString *);
for (i = tb->size; i < newsize; i++)
tb->hash[i] = NULL;
}
for (i = 0; i < tb->size; i++) { /* rehash */
TString *p = tb->hash[i];
tb->hash[i] = NULL;
while (p) { /* for each node in the list */
TString *hnext = p->u.hnext; /* save next */
unsigned int h = lmod(p->hash, newsize); /* new position */
p->u.hnext = tb->hash[h]; /* chain it */
tb->hash[h] = p;
p = hnext;
}
}
if (newsize < tb->size) { /* shrink table if needed */
/* vanishing slice should be empty */
lua_assert(tb->hash[newsize] == NULL && tb->hash[tb->size - 1] == NULL);
luaM_reallocvector(L, tb->hash, tb->size, newsize, TString *);
}
tb->size = newsize;
}
luaS_resize
がトリガーされた箇所:(1)lgc.c
のcheckSizes
関数は、検査が行われ、このときバケツの数が大きすぎて、例えば実際に保管されている文字列の数の4倍であれば、ハッシュバケツの数を元の半分に減らす.(2)lstring.c
のinternshrstr
関数.このとき文字列の数はバケツの数より大きく、バケツの数はMAX_より小さいINT/2は、2倍になります.新しい文字列を作成するプロセス:
(1)新しく作成する文字列に対応するハッシュ値を計算する.(2)ハッシュ値に基づいて対応するハッシュバケツを見つけ、そのハッシュバケツのすべての要素を遍歴し、同じ文字列を見つけることができれば、説明前に同じ文字列が存在していたので、新しい文字列データを再割り当てする必要がなく、直接返すことができる.(3)(2)ステップ目に同じ文字列が見つからない場合、
luaS_newlstr
関数を呼び出して新しい文字列を作成します.具体的なコード:/*
** checks whether short string exists and reuses it or creates a new one
*/
static TString *internshrstr (lua_State *L, const char *str, size_t l) {
TString *ts;
global_State *g = G(L);
unsigned int h = luaS_hash(str, l, g->seed);
TString **list = &g->strt.hash[lmod(h, g->strt.size)];
lua_assert(str != NULL); /* otherwise 'memcmp'/'memcpy' are undefined */
for (ts = *list; ts != NULL; ts = ts->u.hnext) {
if (l == ts->shrlen &&
(memcmp(str, getstr(ts), l * sizeof(char)) == 0)) {
/* found! */
if (isdead(g, ts)) /* dead (but not collected yet)? */
changewhite(ts); /* resurrect it */
return ts;
}
}
if (g->strt.nuse >= g->strt.size && g->strt.size <= MAX_INT/2) {
luaS_resize(L, g->strt.size * 2);
list = &g->strt.hash[lmod(h, g->strt.size)]; /* recompute with new size */
}
ts = createstrobj(L, l, LUA_TSHRSTR, h);
memcpy(getstr(ts), str, l * sizeof(char));
ts->shrlen = cast_byte(l);
ts->u.hnext = *list;
*list = ts;
g->strt.nuse++;
return ts;
}
/*
** new string (with explicit length)
** LUAI_MAXSHORTLEN , internshrstr。 LUAI_MAXSHORTLEN TString
*/
TString *luaS_newlstr (lua_State *L, const char *str, size_t l) {
if (l <= LUAI_MAXSHORTLEN) /* short string? */
return internshrstr(L, str, l);
else {
TString *ts;
if (l >= (MAX_SIZE - sizeof(TString))/sizeof(char))
luaM_toobig(L);
ts = luaS_createlngstrobj(L, l);
memcpy(getstr(ts), str, l * sizeof(char));
return ts;
}
}
/*
** Create or reuse a zero-terminated string, first checking in the
** cache (using the string address as a key). The cache can contain
** only zero-terminated strings, so it is safe to use 'strcmp' to
** check hits.
*/
TString *luaS_new (lua_State *L, const char *str) {
unsigned int i = point2uint(str) % STRCACHE_N; /* hash */
int j;
TString **p = G(L)->strcache[i];
for (j = 0; j < STRCACHE_M; j++) {
if (strcmp(str, getstr(p[j])) == 0) /* hit? */
return p[j]; /* that is it */
}
/* normal route */
for (j = STRCACHE_M - 1; j > 0; j--)
p[j] = p[j - 1]; /* move out last element */
/* new element is first in the list */
p[0] = luaS_newlstr(L, str, strlen(str));
return p[0];
}
文字列接続
文字列はluaでは可変のデータであり、文字列変数のデータを変更しても元の文字列のデータには影響しません.文字列接続オペレータは、毎回新しい文字列が生成されるため、できるだけ使用しないでください.tableを使用して文字列バッファをシミュレートすることができ、接続オペレータの大量使用を回避し、性能を大幅に向上させることができる.concat().