본문 바로가기

데이터 엑세스

[FireDAC Skill Sprints] 4. ArrayDML로 30배 빠르게 데이터 입력하기

엠바카데로에서 FireDAC Skill Sprint 웨비나(1월 23일 ~ 3월 27일: 매주 금요일 10시)를 진행하고 있습니다.


이 글에서는 웨비나 다시보기와 함께 웨비나 일부 내용을 샘플코드와 함께 소개합니다. 하단 온라인 기술 도움말 링크를 통해 더 자세한 내용을 추가학습하시기 바랍니다.


4회차에는 Array DML에 대한 내용으로 진행합니다.

Array DML 이란?

Array DML은 실행에 필요한 매개변수(Parameters) 배열을 이용한 한번에 DBMS 명령을 실행하는 기능입니다. 이 방법은 DBMS와 애플리케이션 사이의 통신비용을 줄이고 DBMS 명령 요청을 줄입니다. 그 결과 실행 속도가 향상됩니다.


다음 그림에서 이 프로세스를 보여줍니다.


동영상을 보셨다면 아시겠지만 1만건의 데이터를 DBMS에 입력 시

  • 트랜젝션으로 작업을 묶어주면 20배 빨라지고, 

  • Array DML을 사용하면 다시 10배가 더 빨라진다고 설명합니다.

Array DML의 사용법 예시입니다.

  with FDQuery1 do begin
    SQL.Text := 'insert into Customers (ID, RegionID, Name, Note) values (:ID, :RegionID, :Name, :Note)';
    // Set up parameter types
    Params[0].DataType := ftInteger;
    Params[1].DataType := ftInteger;
    Params[2].DataType := ftString;
    Params[2].Size := 40;
    Params[3].DataSize := ftMemo;
    // Set up parameters' array size
    Params.ArraySize := 10000;
    // Set parameter values
    for i := 0 to 10000 - 1 do begin
      if i mod 100 = 0 then
        // force PK violation
        Params[0].AsIntegers[i] := i - 1
      else
        Params[0].AsIntegers[i] := i;
      Params[1].AsIntegers[i] := GetRegionIdForCustomer(i);
      Params[2].AsStrings[i] := 'Somebody ' + IntToStr(i);
      Params[3].Clear(i);
    end;
    // Execute batch
    Execute(10000, 0);
  end;

  • 위 코드 10번째 줄에서 배열크기(Params.ArraySize)를 지정합니다.
  • 13~20번 줄에서는 Params[0].AsStrings[i] 형태로 배열로 데이터를 입력합니다.(AsString 뒤에 s가 붙은 것을 유의하세요.)
  • 데이터 입력 후 23번째 줄에 Execute 메소드로 실행요청을 합니다. 이때 배열의 크기를 인자로 넘겨줍니다.

Array DML 샘플 프로그램 소개

이 샘플에서는 만건의 데이터를 3가지 방식으로 입력하고 실행 시간을 출력합니다. 

  • 아무 튜닝없이 반복하며 입력 - 13,244 ms 소요
  • 트랜젝션으로 작업을 묶어서 입력 - 1,062 ms 소요
  • Array DML으로 데이터 일괄 입력 - 160 ms 소요
결과를 보면 Array DML의 결과가 매우 빠르다는 것을 볼수 있습니다. 
또한 단순하게 트랜젝션 처리만 추가해도 10배 이상 속도가 개선된 결과도 인상적입니다.

[샘플코드 받기 - 데브기어 github 페이지]


Insert STD - 아무 튜닝없이 반복하며 입력

var
  I: Integer;
  StopWatch: TStopwatch;
begin
  FDConnection1.ExecSQL('DELETE FROM Test');

  StopWatch := TStopWatch.StartNew;

  for I := 0 to NUM_INSERTS - 1 do
  begin
    FDQuery1.ParamByName('Field1').AsInteger := I;
    FDQUery1.ParamByName('Field2').AsString := 'Str' + I.ToString;
    FDQuery1.ExecSQL;
  end;

  StopWatch.Stop;
  Memo1.Lines.Add('Insert STD : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms');

Insert STD(Transaction) - 위 작업에 트랜젝션만 추가
var
  I: Integer;
  StopWatch: TStopwatch;
begin
  FDConnection1.ExecSQL('DELETE FROM Test');

  StopWatch := TStopWatch.StartNew;

  // Transaction 추가
  FDConnection1.StartTransaction;
  try
    for I := 0 to NUM_INSERTS - 1 do
    begin
      FDQuery1.ParamByName('Field1').AsInteger := I;
      FDQUery1.ParamByName('Field2').AsString := 'Str' + I.ToString;
      FDQuery1.ExecSQL;
    end;
  finally
    FDConnection1.Commit;
  end;

  StopWatch.Stop;
  Memo1.Lines.Add('Insert STD(Transaction) : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms');

Insert Array DML - Array DML을 이용해 입력
var
  I: Integer;
  StopWatch: TStopwatch;
begin
  FDConnection1.ExecSQL('DELETE FROM Test');

  StopWatch := TStopWatch.StartNew;

  FDConnection1.StartTransaction;
  try
    FDQuery1.Params.ArraySize := NUM_INSERTS;
    for I := 0 to NUM_INSERTS - 1 do
    begin
      FDQuery1.ParamByName('Field1').AsIntegers[I] := I;
      FDQUery1.ParamByName('Field2').AsStrings[I] := 'Str' + I.ToString;
    end;
    FDQuery1.Execute(NUM_INSERTS);
  finally
    FDConnection1.Commit;
  end;

  StopWatch.Stop;
  Memo1.Lines.Add('Insert ArrayDML : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms');