You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-08 - 19:50

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Sat Aug 08, 2026 12:45:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
305956399842,79cyclictest0-21swapper/008:20:020
3059572997261,8cyclictest30-21ksoftirqd/210:10:012
3059568997030,35cyclictest309-21in:imuxsock11:25:001
3059563997017,11cyclictest3068935-21munin-run10:05:000
3059568996928,15cyclictest275-21dbus-daemon12:30:011
305956899657,16cyclictest3064153-21modprobe08:40:001
305956899652,42cyclictest3065761-21ssh09:10:021
305956899652,42cyclictest3065761-21ssh09:10:011
3059568995927,7cyclictest23-21ksoftirqd/109:30:011
3059568995921,11cyclictest1-21systemd10:50:011
3059563995919,7cyclictest12-21ksoftirqd/008:55:000
3059563995913,10cyclictest12-21ksoftirqd/010:10:030
3059574995840,14cyclictest1-21systemd08:25:003
3059568995827,8cyclictest23-21ksoftirqd/110:45:011
3059568995720,9cyclictest309-21in:imuxsock11:10:011
3059563995715,10cyclictest12-21ksoftirqd/008:50:020
3059563995713,8cyclictest12-21ksoftirqd/011:20:030
3059568995627,7cyclictest23-21ksoftirqd/107:50:021
3059568995623,8cyclictest3068877-21sed10:00:021
3059563995614,9cyclictest12-21ksoftirqd/012:00:000
305957299558,12cyclictest30-21ksoftirqd/207:55:012
3059568995547,6cyclictest23-21ksoftirqd/110:55:031
305956899554,13cyclictest3070210-21modprobe10:29:591
3059568995534,15cyclictest275-21dbus-daemon10:15:021
3059563995535,14cyclictest3066330-21latency_hist09:15:010
3059563995514,9cyclictest12-21ksoftirqd/007:15:010
3059572995443,7cyclictest30-21ksoftirqd/209:35:012
3059563995417,9cyclictest131rcu_preempt07:50:020
3059563995411,25cyclictest16950irq/224-800000011:00:020
3059574995338,12cyclictest3467602-21systemd-journal10:04:593
3059574995331,9cyclictest3467602-21systemd-journal12:06:473
3059568995334,13cyclictest3076970-21systemctl12:40:011
3059568995334,13cyclictest3076970-21systemctl12:40:001
305956899531,34cyclictest3071282-21kworker/1:211:45:011
3059574995236,10cyclictest309-21in:imuxsock12:05:013
3059574995236,10cyclictest309-21in:imuxsock12:05:003
3059574995235,11cyclictest3467602-21systemd-journal08:45:003
3059572995243,5cyclictest3064450-21kworker/2:109:15:532
3059572995243,5cyclictest3064450-21kworker/2:109:15:522
305957299524,11cyclictest30-21ksoftirqd/211:30:012
305957299522,7cyclictest30-21ksoftirqd/211:10:032
3059574995114,17cyclictest0-21swapper/308:00:013
3059572995143,5cyclictest3074653-21kworker/2:212:34:522
3059572995143,5cyclictest3067647-21kworker/2:310:24:132
3059572995143,5cyclictest3067647-21kworker/2:310:24:132
3059572995143,5cyclictest3052418-21kworker/2:008:07:382
305957299514,12cyclictest30-21ksoftirqd/209:30:022
3059572995136,12cyclictest3467602-21systemd-journal12:00:032
3059572995136,12cyclictest3467602-21systemd-journal12:00:022
3059572995131,15cyclictest275-21dbus-daemon09:50:002
305956399517,8cyclictest3063406-21munin-run08:25:010
3059574995033,12cyclictest275-21dbus-daemon12:15:003
3059572995042,5cyclictest3074653-21kworker/2:212:36:442
3059572995042,5cyclictest3074653-21kworker/2:212:36:432
3059572995042,5cyclictest3052919-21kworker/2:207:14:202
3059572995039,7cyclictest291rcuc/210:15:012
3059572995013,9cyclictest30-21ksoftirqd/212:25:012
305957299501,14cyclictest3467602-21systemd-journal12:15:002
3059568995031,14cyclictest3467602-21systemd-journal07:35:001
3059568995031,14cyclictest1-21systemd12:00:001
305956399502,42cyclictest284-21systemd-logind07:40:020
3059563995013,9cyclictest12-21ksoftirqd/010:30:010
3059563995012,33cyclictest0-21swapper/010:20:000
3059574994928,14cyclictest3064167-21run-parts08:40:013
3059574994927,16cyclictest275-21dbus-daemon09:35:023
3059572994941,5cyclictest3067647-21kworker/2:310:41:122
3059572994941,5cyclictest3061593-21kworker/2:107:59:122
3059572994941,5cyclictest3052919-21kworker/2:207:37:002
3059572994941,5cyclictest3052418-21kworker/2:008:25:372
3059572994940,6cyclictest3067647-21kworker/2:311:10:272
3059572994929,14cyclictest3467602-21systemd-journal11:50:002
305956399493,9cyclictest3068651-21munin-run10:00:000
3059563994929,16cyclictest0-21swapper/011:15:020
3059572994841,4cyclictest3052919-21kworker/2:207:32:182
3059572994840,5cyclictest3068682-21kworker/2:110:50:232
3059572994840,5cyclictest3068682-21kworker/2:110:48:202
3059572994840,5cyclictest3068682-21kworker/2:110:37:042
3059572994840,5cyclictest3067647-21kworker/2:312:08:082
3059572994840,5cyclictest3067647-21kworker/2:311:41:522
3059572994840,5cyclictest3067647-21kworker/2:311:00:022
3059572994840,5cyclictest3067647-21kworker/2:309:58:342
3059572994840,5cyclictest3064450-21kworker/2:109:23:102
3059572994840,5cyclictest3064450-21kworker/2:109:11:432
3059572994840,5cyclictest3061593-21kworker/2:108:00:032
3059572994840,5cyclictest3061593-21kworker/2:108:00:032
3059572994840,5cyclictest3052919-21kworker/2:207:40:122
3059572994840,5cyclictest3052919-21kworker/2:207:20:492
3059572994840,5cyclictest3052418-21kworker/2:008:23:022
3059572994839,6cyclictest3064450-21kworker/2:108:58:282
3059572994839,6cyclictest3062879-21kworker/2:308:51:362
3059572994839,5cyclictest3068682-21kworker/2:111:32:152
3059572994834,10cyclictest275-21dbus-daemon11:00:022
3059563994836,7cyclictest16950irq/224-800000010:15:000
3059574994734,7cyclictest309-21in:imuxsock12:00:003
3059574994729,14cyclictest1-21systemd09:40:013
3059574994729,13cyclictest275-21dbus-daemon08:50:013
305957299477,7cyclictest30-21ksoftirqd/210:20:002
3059572994740,4cyclictest3066337-21kworker/2:009:35:072
3059572994740,4cyclictest3052418-21kworker/2:008:15:282
3059572994739,5cyclictest3067647-21kworker/2:311:55:392
3059572994739,5cyclictest3067647-21kworker/2:311:38:232
3059572994739,5cyclictest3067647-21kworker/2:311:23:232
3059572994739,5cyclictest3067647-21kworker/2:310:25:432
3059572994739,5cyclictest3067647-21kworker/2:309:51:162
3059572994739,5cyclictest3066337-21kworker/2:009:41:202
3059572994739,5cyclictest3066337-21kworker/2:009:41:192
3059572994739,5cyclictest3062879-21kworker/2:308:40:452
3059572994739,5cyclictest3062879-21kworker/2:308:38:022
3059572994739,5cyclictest3052919-21kworker/2:207:25:092
3059572994739,5cyclictest3052919-21kworker/2:207:16:492
3059572994739,5cyclictest3052418-21kworker/2:008:49:332
3059572994739,5cyclictest3052418-21kworker/2:008:14:422
3059572994738,5cyclictest3067647-21kworker/2:311:18:452
3059572994735,9cyclictest30-21ksoftirqd/210:35:022
3059568994731,12cyclictest1-21systemd08:35:011
305956399479,33cyclictest151rcuc/008:40:000
305956399478,18cyclictest3065926-21latency_hist09:10:020
305956399478,18cyclictest3065926-21latency_hist09:10:020
3059563994732,12cyclictest275-21dbus-daemon10:25:020
3059563994732,12cyclictest275-21dbus-daemon10:25:010
3059563994730,13cyclictest1-21systemd11:35:000
3059563994713,9cyclictest3074480-21grep11:50:010
3059563994712,31cyclictest0-21swapper/008:04:510
3059563994712,31cyclictest0-21swapper/008:04:500
3059574994631,11cyclictest1-21systemd09:45:023
3059574994631,11cyclictest1-21systemd09:45:013
3059572994639,4cyclictest3074653-21kworker/2:212:26:372
3059572994639,4cyclictest3067647-21kworker/2:310:00:032
3059572994639,4cyclictest3062879-21kworker/2:309:05:212
3059572994639,4cyclictest3062879-21kworker/2:309:05:202
3059572994638,5cyclictest3067647-21kworker/2:311:51:052
3059572994638,5cyclictest3064450-21kworker/2:109:01:162
3059572994638,5cyclictest3062879-21kworker/2:308:30:472
3059572994638,5cyclictest3052418-21kworker/2:007:46:342
3059574994528,13cyclictest1-21systemd09:55:003
3059572994539,4cyclictest3075678-21kworker/2:112:15:112
3059568994528,12cyclictest3467602-21systemd-journal07:15:071
3059563994526,15cyclictest3060772-21sshd07:32:360
3059563994510,9cyclictest1-21systemd07:51:350
3059574994428,13cyclictest37-21ksoftirqd/308:05:023
3059574994428,12cyclictest1-21systemd09:05:003
3059563994437,4cyclictest16950irq/224-800000012:05:010
3059563994437,4cyclictest16950irq/224-800000012:05:000
3059563994434,8cyclictest12-21ksoftirqd/009:55:020
305956399442,8cyclictest3074731-21wc11:55:020
305956399442,8cyclictest3060042-21modprobe07:20:000
305956399442,37cyclictest3060744-21latency_hist07:30:020
3059563994336,4cyclictest16950irq/224-800000009:24:590
3059563994331,8cyclictest3061326-21cron07:45:000
3059563994324,15cyclictest3065213-21tr09:00:000
3059563994323,15cyclictest275-21dbus-daemon10:55:010
305956399432,14cyclictest3076690-21sshd12:34:070
305956399431,13cyclictest3065473-21/usr/sbin/munin09:05:000
305957499423,20cyclictest3058712-21kworker/u8:007:20:013
3059574994231,6cyclictest309-21in:imuxsock11:20:013
3059574994230,8cyclictest37-21ksoftirqd/311:25:003
3059574994227,10cyclictest275-21dbus-daemon09:15:013
305956399427,29cyclictest0-21swapper/009:45:020
305956399427,29cyclictest0-21swapper/009:45:010
3059563994230,9cyclictest12-21ksoftirqd/011:30:020
3059563994229,9cyclictest12-21ksoftirqd/012:25:020
3059563994228,10cyclictest3062829-21sshd08:10:310
3059563994226,12cyclictest309-21in:imuxsock10:45:010
305956399421,7cyclictest3075933-21munin-run12:20:010
305956399421,36cyclictest3070724-21sendmail10:40:000
3059568994126,10cyclictest3467602-21systemd-journal07:28:371
3059568994123,13cyclictest275-21dbus-daemon12:25:011
3059568994121,15cyclictest275-21dbus-daemon09:00:011
3059563994124,14cyclictest3073819-21sshd11:36:390
3059574994029,8cyclictest3065428-21sed09:00:023
3059574994025,10cyclictest275-21dbus-daemon08:20:003
3059574994024,12cyclictest275-21dbus-daemon07:50:013
3059574994023,12cyclictest1-21systemd11:10:013
3059574994021,14cyclictest3467602-21systemd-journal10:30:003
3059568994030,7cyclictest23-21ksoftirqd/108:50:021
3059568994030,6cyclictest3067357-21munin-plugin-st09:35:001
3059568994030,5cyclictest3066561-21kworker/u8:109:20:001
3059568994030,5cyclictest3066561-21kworker/u8:109:20:001
3059568994029,9cyclictest23-21ksoftirqd/110:05:001
3059568994027,10cyclictest23-21ksoftirqd/109:25:021
305956399404,32cyclictest0-21swapper/009:40:010
3059563994031,5cyclictest19350irq/34-mmc111:25:010
3059563994028,10cyclictest12-21ksoftirqd/012:40:000
3059563994028,10cyclictest12-21ksoftirqd/012:40:000
3059563994023,13cyclictest3063874-21sshd08:30:380
3059563994022,14cyclictest3066596-21tr09:20:010
3059563994022,14cyclictest3066596-21tr09:20:000
3059563994021,15cyclictest364-21snmpd09:49:240
305956399401,5cyclictest3076455-21munin-run12:30:000
305956399401,36cyclictest0-21swapper/008:00:000
305957499398,6cyclictest131rcu_preempt12:30:003
3059574993929,7cyclictest37-21ksoftirqd/308:30:003
3059574993927,9cyclictest3467602-21systemd-journal11:10:043
3059574993927,9cyclictest3071743-21sshd10:58:383
3059574993926,9cyclictest275-21dbus-daemon10:25:003
3059574993926,9cyclictest275-21dbus-daemon10:25:003
3059574993925,10cyclictest275-21dbus-daemon11:30:023
3059568993924,11cyclictest275-21dbus-daemon07:15:001
3059568993924,11cyclictest23-21ksoftirqd/112:10:011
3059568993923,11cyclictest0-21swapper/109:05:001
3059568993922,14cyclictest3467602-21systemd-journal08:16:381
3059563993932,4cyclictest16950irq/224-800000011:45:000
3059563993926,9cyclictest3072270-21sshd11:06:370
3059563993926,9cyclictest3064442-21munin-run08:45:000
3059563993925,11cyclictest3070445-21sshd10:32:390
3059563993922,13cyclictest3060257-21sshd07:20:090
3059563993918,16cyclictest275-21dbus-daemon11:05:010
305957499383,9cyclictest3065733-21modprobe09:10:003
305957499383,9cyclictest3065733-21modprobe09:10:003
3059574993828,6cyclictest37-21ksoftirqd/307:45:023
3059574993827,8cyclictest37-21ksoftirqd/310:45:013
3059574993826,8cyclictest3070929-21wc10:40:023
3059574993824,11cyclictest3467602-21systemd-journal10:00:023
3059574993822,11cyclictest275-21dbus-daemon11:55:013
305957499381,3cyclictest131rcu_preempt10:15:023
3059574993813,5cyclictest131rcu_preempt10:35:013
305956899387,4cyclictest131rcu_preempt12:35:021
3059568993829,7cyclictest23-21ksoftirqd/109:50:021
3059568993823,10cyclictest3467602-21systemd-journal12:20:011
3059568993821,11cyclictest23-21ksoftirqd/111:55:021
3059568993820,13cyclictest275-21dbus-daemon09:40:011
3059568993818,15cyclictest275-21dbus-daemon12:05:011
3059568993818,15cyclictest275-21dbus-daemon12:05:001
305956399383,6cyclictest12-21ksoftirqd/009:30:010
3059563993823,11cyclictest3075630-21sshd12:10:470
3059563993823,11cyclictest3075386-21sshd12:06:470
3059563993812,23cyclictest12-21ksoftirqd/010:49:500
3059574993725,9cyclictest37-21ksoftirqd/309:30:003
3059574993714,18cyclictest275-21dbus-daemon12:40:013
3059574993714,18cyclictest275-21dbus-daemon12:40:003
3059568993729,6cyclictest23-21ksoftirqd/110:20:001
3059568993727,7cyclictest3066297-21cron09:14:591
3059568993727,7cyclictest3061808-21sshd07:52:371
3059568993726,9cyclictest23-21ksoftirqd/110:05:511
3059568993724,10cyclictest23-21ksoftirqd/108:12:301
3059568993721,12cyclictest1-21systemd08:10:001
3059563993724,10cyclictest3062597-21sshd08:09:390
305956399372,31cyclictest3063657-21munin-run08:30:000
3059563993723,10cyclictest3067340-21sshd09:34:380
305957499365,5cyclictest131rcu_preempt09:20:003
305957499365,5cyclictest131rcu_preempt09:20:003
305957499363,6cyclictest131rcu_preempt11:35:013
3059574993623,10cyclictest37-21ksoftirqd/307:35:003
3059574993622,9cyclictest309-21in:imuxsock12:16:033
3059574993621,10cyclictest309-21in:imuxsock09:45:503
305956899368,4cyclictest131rcu_preempt08:00:001
305956899363,7cyclictest0-21swapper/111:18:381
305956899363,3cyclictest131rcu_preempt07:25:021
3059568993626,7cyclictest23-21ksoftirqd/110:40:021
3059568993626,6cyclictest309-21in:imuxsock11:40:001
3059568993624,8cyclictest3061096-21wc07:40:011
3059568993624,7cyclictest309-21in:imuxsock11:35:001
3059568993623,10cyclictest23-21ksoftirqd/109:55:011
3059568993623,10cyclictest23-21ksoftirqd/108:01:241
3059568993623,10cyclictest23-21ksoftirqd/108:01:231
3059574993528,4cyclictest3066850-21latency_hist09:25:023
3059574993526,6cyclictest37-21ksoftirqd/307:10:013
3059574993526,6cyclictest3062360-21modprobe08:05:003
3059574993526,6cyclictest3062360-21modprobe08:05:003
3059574993519,12cyclictest3072229-21sort11:05:033
3059574993515,16cyclictest37-21ksoftirqd/307:30:023
305956899356,4cyclictest131rcu_preempt09:45:011
305956899356,4cyclictest131rcu_preempt09:45:011
3059568993525,8cyclictest23-21ksoftirqd/110:35:011
3059568993522,10cyclictest23-21ksoftirqd/111:50:011
305957499347,3cyclictest131rcu_preempt07:40:033
305957499343,3cyclictest131rcu_preempt11:45:013
3059574993425,6cyclictest3060050-21kworker/3:208:35:023
3059574993422,8cyclictest309-21in:imuxsock12:30:063
3059574993422,8cyclictest3073833-21cron11:40:003
3059574993417,12cyclictest1-21systemd12:25:013
305957499341,5cyclictest131rcu_preempt07:25:013
305956899345,3cyclictest131rcu_preempt11:05:011
3059568993424,8cyclictest3061295-21sshd07:40:131
3059568993422,8cyclictest23-21ksoftirqd/108:22:141
3059574993324,5cyclictest37-21ksoftirqd/308:54:393
3059574993323,7cyclictest37-21ksoftirqd/307:55:023
3059574993322,5cyclictest3071254-21sh10:50:013
3059572993320,9cyclictest30-21ksoftirqd/207:10:022
3059568993321,10cyclictest23-21ksoftirqd/111:00:001
3059568993320,8cyclictest23-21ksoftirqd/108:30:011
305957499324,4cyclictest131rcu_preempt08:10:313
3059574993223,5cyclictest37-21ksoftirqd/311:50:023
3059574993220,10cyclictest3069669-21sshd10:19:373
305957499321,4cyclictest131rcu_preempt10:50:023
3059568993222,8cyclictest23-21ksoftirqd/111:30:021
3059568993220,9cyclictest23-21ksoftirqd/111:14:151
305957499316,5cyclictest131rcu_preempt10:10:003
305957499302,3cyclictest131rcu_preempt07:12:373
3059568993020,7cyclictest23-21ksoftirqd/108:41:431
3059568993019,8cyclictest23-21ksoftirqd/112:13:441
3059563993021,6cyclictest12-21ksoftirqd/007:10:010
3059568992919,7cyclictest3065104-21sed08:55:021
305956899291,4cyclictest131rcu_preempt10:25:021
305956899291,4cyclictest131rcu_preempt10:25:011
305956899251,3cyclictest131rcu_preempt07:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional