You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-27 - 07:36

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #8

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails
  Congatec
Click here to display the system's profile data.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rackeslot8s.osadl.org (updated Sat Jul 27, 2024 00:43:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
327075399748741,3cyclictest191rcu_preempt3
327075399746738,7cyclictest3678809-21kworker/3:2+events3
327075399744742,1cyclictest3327654-21kworker/3:1+events3
327075399744736,6cyclictest3678809-21kworker/3:2+events3
327075399741736,4cyclictest3678809-21kworker/3:2+events3
327075399740736,3cyclictest3327654-21kworker/3:1+events3
327075399739733,5cyclictest3377131-21turbostat3
327073799738734,3cyclictest3252362-21kworker/1:0+events1
327073799738734,3cyclictest3252362-21kworker/1:0+events1
327073799737733,3cyclictest3252362-21kworker/1:0+events1
327073799737733,3cyclictest3252362-21kworker/1:0+events1
327075399736732,3cyclictest3573800-21kworker/3:0+events3
327075399736730,5cyclictest3327654-21kworker/3:1+events3
327073799735731,3cyclictest3252362-21kworker/1:0+events1
327075399732728,3cyclictest3327654-21kworker/3:1+events3
327075399730726,3cyclictest3327654-21kworker/3:1+events3
327075399729726,2cyclictest3245886-21kworker/3:2+events3
327073799729725,3cyclictest3252362-21kworker/1:0+events1
327075399728724,3cyclictest3602723-21kworker/3:1+events3
327075399727722,4cyclictest3327654-21kworker/3:1+events3
327075399724718,5cyclictest3534810-21turbostat3
327075399721719,1cyclictest3327654-21kworker/3:1+events3
327075399721715,5cyclictest3327654-21kworker/3:1+events3
327075399720716,3cyclictest3327654-21kworker/3:1+events3
327075399717713,3cyclictest3327654-21kworker/3:1+events3
327075399717712,4cyclictest3327654-21kworker/3:1+events3
327075399716712,3cyclictest3327654-21kworker/3:1+events3
327075399714711,2cyclictest3327654-21kworker/3:1+events3
327075399713710,2cyclictest3602723-21kworker/3:1+events3
327075399712707,4cyclictest3327654-21kworker/3:1+events3
327075399711706,4cyclictest3602723-21kworker/3:1+events3
327075399711706,4cyclictest3327654-21kworker/3:1+events3
327075399710707,2cyclictest3573800-21kworker/3:0+events3
327075399710706,3cyclictest3327654-21kworker/3:1+events3
327075399710705,4cyclictest3602723-21kworker/3:1+events3
327075399709705,3cyclictest3678809-21kworker/3:2+events3
327075399709705,3cyclictest3573800-21kworker/3:0+events3
327075399708706,1cyclictest3327654-21kworker/3:1+events3
327075399708704,3cyclictest3327654-21kworker/3:1+events3
327075399708704,3cyclictest3245886-21kworker/3:2+events3
327075399708702,5cyclictest3602723-21kworker/3:1+events3
327075399706702,3cyclictest3327654-21kworker/3:1+events3
327075399706701,4cyclictest3309706-21turbostat3
327075399705700,4cyclictest3245886-21kworker/3:2+events3
327075399705698,5cyclictest3602723-21kworker/3:1+events3
327075399703699,3cyclictest3557428-21kworker/3:2+events3
327075399701697,3cyclictest3602723-21kworker/3:1+events3
327075399701696,4cyclictest3602723-21kworker/3:1+events3
327075399700698,1cyclictest3678809-21kworker/3:2+events3
327075399699695,3cyclictest3327654-21kworker/3:1+events3
327075399698695,2cyclictest3327654-21kworker/3:1+events3
327075399698694,3cyclictest3678809-21kworker/3:2+events3
327075399698694,3cyclictest3678809-21kworker/3:2+events3
327075399698694,3cyclictest3327654-21kworker/3:1+events3
327075399695690,4cyclictest3352386-21turbostat3
327075399695690,4cyclictest3352386-21turbostat3
327075399694688,5cyclictest3327654-21kworker/3:1+events3
327075399693689,3cyclictest3327654-21kworker/3:1+events3
327075399690686,3cyclictest3557428-21kworker/3:2+events3
327075399690683,5cyclictest3602723-21kworker/3:1+events3
327075399687685,1cyclictest3245886-21kworker/3:2+events3
327075399686682,3cyclictest3602723-21kworker/3:1+events3
327073799686681,4cyclictest3334076-21turbostat1
327075399679676,2cyclictest3245886-21kworker/3:2+events3
327075399678675,2cyclictest3678809-21kworker/3:2+events3
327075399678673,4cyclictest3327654-21kworker/3:1+events3
327075399677672,4cyclictest3245886-21kworker/3:2+events3
327075399676672,3cyclictest3327654-21kworker/3:1+events3
327075399676663,6cyclictest3245886-21kworker/3:2+events3
327075399674669,4cyclictest3327654-21kworker/3:1+events3
327075399669666,2cyclictest3245886-21kworker/3:2+events3
327073799608604,3cyclictest3358482-21turbostat1
327073799606603,2cyclictest3466061-21turbostat1
327075399600596,3cyclictest3473734-21turbostat3
327075399599595,3cyclictest3364616-21turbostat3
35564032260,1chrt3556402-21ssh2
3270744992622,2cyclictest3285293-21basename2
3270737992421,2cyclictest3680398-21idleruntime-cro1
3270744992319,2cyclictest0-21swapper/22
3270744992218,2cyclictest0-21swapper/22
3270730992217,4cyclictest3352380-21sh0
3270730992118,2cyclictest0-21swapper/00
35481512200,1sleep20-21swapper/22
3270744992017,2cyclictest490-21avahi-daemon2
3270744992017,2cyclictest3691416-21kthreadcore2
3270737992017,2cyclictest3649827-21idleruntime-cro1
3270730992017,2cyclictest3270601-21apt-key0
174098200,1rtkit-daemon0-21swapper/11
3270730991916,2cyclictest0-21swapper/00
3270744991814,2cyclictest0-21swapper/22
3270744991812,4cyclictest365-21systemd-journal2
3270744991811,5cyclictest365-21systemd-journal2
3270737991815,2cyclictest3420149-21diskmemload1
3270730991815,2cyclictest3550561-21cpuspeed_turbos0
3270744991714,2cyclictest3466884-21irqcore2
3270744991713,3cyclictest0-21swapper/22
3270744991713,2cyclictest3321874-21idleruntime-cro2
3270744991710,5cyclictest365-21systemd-journal2
3270737991714,2cyclictest3542729-21/usr/sbin/munin1
3270737991714,2cyclictest3527781-21gltestperf1
3270737991712,1cyclictest191rcu_preempt1
327073099176,1cyclictest191rcu_preempt0
3270730991715,1cyclictest3377147-21sh0
3270730991714,2cyclictest64-21kcompactd00
3270730991714,2cyclictest506-21rs:main0
3270730991714,2cyclictest3589451-21gltestperf0
3270730991714,2cyclictest3588725-21cron0
3270730991714,2cyclictest3466081-21sendmail0
3270730991714,2cyclictest0-21swapper/00
3270730991713,3cyclictest3542490-21kworker/0:1+kacpi_notify0
3270730991713,3cyclictest3542490-21kworker/0:1+kacpi_notify0
3270744991612,3cyclictest3658077-21gltestperf2
3270744991612,3cyclictest3634977-21cpuspeed_turbos2
3270744991612,3cyclictest3309724-21sendmail2
3270744991610,4cyclictest3339578-21awk2
327074499160,4cyclictest3408759-21cut2
327073799168,1cyclictest0-21swapper/11
3270737991614,1cyclictest3395702-21cron1
3270737991613,2cyclictest3657999-21fschecks_count1
3270737991613,2cyclictest3558528-21irqcore1
3270737991613,2cyclictest0-21swapper/11
3270737991612,3cyclictest490-21avahi-daemon1
3270737991612,3cyclictest3536182-21grep1
327073099167,2cyclictest3488972-21kworker/u8:3-ext4-rsv-conversion0
327073099167,1cyclictest191rcu_preempt0
327073099167,1cyclictest0-21swapper/00
3270730991614,1cyclictest3383224-21munin-plugin-st0
3270730991613,2cyclictest3446508-21sort0
3270730991613,2cyclictest0-21swapper/00
327075399150,5cyclictest3351996-21awk3
327074499159,4cyclictest3464753-21sshd2
3270744991513,1cyclictest3632542-21switchtime2
3270744991512,2cyclictest490-21avahi-daemon2
3270744991512,2cyclictest3333110-21needreboot2
3270744991511,3cyclictest3589292-21fschecks_count2
3270744991511,3cyclictest3420950-21irqcore2
3270744991511,3cyclictest3364155-21unixbench_multi2
3270744991511,3cyclictest0-21swapper/22
3270744991511,2cyclictest3396051-21cpuspeed_turbos2
3270744991511,2cyclictest0-21swapper/22
3270744991510,4cyclictest3625127-21grep2
3270744991510,3cyclictest0-21swapper/22
327073799159,5cyclictest3482038-21gltestperf1
3270737991512,2cyclictest3632779-21unixbench_multi1
3270737991512,2cyclictest3494401-21ntp_offset1
3270737991512,2cyclictest3411393-21kthreadcore1
3270737991512,2cyclictest0-21swapper/11
3270737991511,3cyclictest3681120-21gltestperf1
327073799150,14cyclictest0-21swapper/11
3270730991512,2cyclictest3724726-21unixbench_multi0
3270730991512,2cyclictest3693736-21timerandwakeup0
3270730991512,2cyclictest3650635-21irqcore0
3270730991512,2cyclictest3511894-21systemd-run0
3270730991512,2cyclictest3489551-21fschecks_time0
3270730991512,2cyclictest3371002-21/usr/sbin/munin0
3270730991512,2cyclictest3327972-21turbostat.cron0
3270730991512,2cyclictest0-21swapper/00
32646732153,7sleep30-21swapper/33
327075399141,4cyclictest3341370-21cut3
327074499147,5cyclictest491-21dbus-daemon2
327074499146,6cyclictest513-21gdbus2
3270744991411,2cyclictest3726912-21cut2
3270744991411,2cyclictest3428490-21gltestperf2
3270744991411,2cyclictest3388331-21needreboot2
3270744991410,3cyclictest3479596-21unixbench_singl2
3270744991410,2cyclictest3419739-21grep2
327073799148,4cyclictest0-21swapper/11
327073799146,3cyclictest3619243-21cron1
327073799146,2cyclictest3427848-21munin-run1
3270737991411,2cyclictest3703998-21gltestperf1
3270737991411,2cyclictest3688873-21ps1
3270737991411,2cyclictest3650134-21/usr/sbin/munin1
3270737991411,2cyclictest3640464-21unixbench_singl1
3270737991411,2cyclictest3576537-21kthreadcore1
3270737991411,2cyclictest3565996-21gltestperf1
3270737991411,2cyclictest3517733-21unixbench_singl1
3270737991411,2cyclictest3501936-21needreboot1
3270737991411,2cyclictest3445003-21tr1
3270737991411,2cyclictest3436084-21fschecks_time1
3270737991411,2cyclictest0-21swapper/11
3270737991410,3cyclictest3550769-21gltestperf1
3270737991410,3cyclictest3456792-21unixbench_multi1
3270737991410,3cyclictest3428564-21hddtemp_smartct1
3270737991410,3cyclictest3285928-21gltestperf1
3270737991410,3cyclictest0-21swapper/11
327073799140,3cyclictest0-21swapper/11
3270730991413,1cyclictest101953-21kworker/0:1+kacpid0
327073099141,2cyclictest33029981timerandwakeup0
3270730991412,1cyclictest3599279-21kthreadcore0
3270730991412,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991412,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991412,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991412,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991412,1cyclictest3518655-21kworker/0:2+kacpid0
3270730991412,1cyclictest3518655-21kworker/0:2+kacpid0
3270730991412,1cyclictest3270720-21cyclictest0
3270730991412,1cyclictest101953-21kworker/0:1+kacpid0
3270730991412,1cyclictest101953-21kworker/0:1+kacpid0
3270730991412,1cyclictest101953-21kworker/0:1+kacpid0
3270730991411,2cyclictest3635279-21gltestperf0
3270730991411,2cyclictest3542490-21kworker/0:1+kacpid0
3270730991411,2cyclictest3542490-21kworker/0:1+kacpid0
3270730991411,2cyclictest3383687-21fschecks_count0
3270730991411,2cyclictest0-21swapper/00
3270730991410,3cyclictest0-21swapper/00
327074499139,3cyclictest3696115-21cpuspeed_turbos2
327074499139,3cyclictest3540697-21unixbench_singl2
327074499139,3cyclictest3533036-21unixbench_singl2
327074499139,3cyclictest3322464-21gltestperf2
327074499139,3cyclictest3290433-21needreboot2
327074499139,2cyclictest0-21swapper/22
327074499137,4cyclictest365-21systemd-journal2
327074499136,5cyclictest365-21systemd-journal2
327074499136,5cyclictest365-21systemd-journal2
327074499136,5cyclictest3496624-21cron2
327074499136,1cyclictest0-21swapper/22
3270744991310,2cyclictest3681271-21cut2
3270744991310,2cyclictest3486605-21missed_timers2
3270744991310,2cyclictest3310125-21cpuspeed_turbos2
3270744991310,2cyclictest3291754-21cpuspeed_turbos2
327073799138,4cyclictest3665766-21grep1
327073799137,4cyclictest3521178-21sed1
327073799137,1cyclictest191rcu_preempt1
327073799132,2cyclictest0-21swapper/11
3270737991311,1cyclictest0-21swapper/11
3270737991310,2cyclictest3414795-21irqcore1
327073799130,3cyclictest3314944-21grep1
327073799130,12cyclictest0-21swapper/11
327073099139,3cyclictest62350irq/127-eno1:rx-00
327073099139,3cyclictest3479032-21needreboot0
327073099138,4cyclictest491-21dbus-daemon0
3270730991312,1cyclictest101953-21kworker/0:1+kacpid0
3270730991311,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991311,1cyclictest3542490-21kworker/0:1+kacpid0
3270730991311,1cyclictest3352055-21kworker/0:0+kacpid0
3270730991311,1cyclictest101953-21kworker/0:1+kacpid0
3270730991311,1cyclictest101953-21kworker/0:1+kacpid0
3270730991311,1cyclictest0-21swapper/00
3270730991310,2cyclictest3499746-21kthreadcore0
3270730991310,2cyclictest3408185-21/usr/sbin/munin0
3270730991310,2cyclictest3352728-21cpuspeed_turbos0
3270730991310,2cyclictest3352728-21cpuspeed_turbos0
3270730991310,2cyclictest3285898-21gltestperf0
327073099130,4cyclictest3701098-21ntp_offset0
327074499129,2cyclictest401ktimers/22
327074499129,2cyclictest3366131-21irqrtprio2
327074499129,2cyclictest0-21swapper/22
327074499128,3cyclictest3374233-21kthreadcore2
327074499121,9cyclictest3346890-21cut2
327074499120,11cyclictest0-21swapper/22
327073799129,2cyclictest3373262-21kthreadcore1
327073799129,2cyclictest0-21swapper/11
327073799127,4cyclictest3271055-21apt-get1
327073799121,1cyclictest191rcu_preempt1
327073799121,1cyclictest191rcu_preempt1
3270737991210,1cyclictest0-21swapper/11
3270737991210,1cyclictest0-21swapper/11
3270737991210,1cyclictest0-21swapper/11
327073799120,4cyclictest3406971-21tail1
327073799120,4cyclictest0-21swapper/11
327073799120,1cyclictest0-21swapper/11
327073099121,5cyclictest191rcu_preempt0
3270730991210,1cyclictest3609285-21needreboot0
3270730991210,1cyclictest3542490-21kworker/0:1+kacpid0
327073099120,2cyclictest191rcu_preempt0
327074499118,2cyclictest3270460-21latency_hist2
327074499118,2cyclictest0-21swapper/22
327074499118,2cyclictest0-21swapper/22
327074499118,2cyclictest0-21swapper/22
327074499117,3cyclictest34434202sleep22
327074499117,3cyclictest3406941-21needreboot2
327074499116,3cyclictest365-21systemd-journal2
327074499110,3cyclictest0-21swapper/22
327074499110,1cyclictest0-21swapper/22
327073099117,3cyclictest3352055-21kworker/0:0+kacpi_notify0
32707449996,2cyclictest3512329-21sh2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional