You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-13 - 11:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Sun Sep 13, 2026 00:45:32)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
214851299114110,2cyclictest0-21swapper/000:20:020
214851299114110,2cyclictest0-21swapper/000:20:010
2148512998527,15cyclictest2168429-21ssh21:39:470
2148512998318,33cyclictest16850irq/134-800000021:46:210
2148512998120,33cyclictest16850irq/134-800000023:10:030
2148512997919,19cyclictest16850irq/134-800000021:32:550
2148512997917,31cyclictest16850irq/134-800000023:22:030
2148512997916,31cyclictest16850irq/134-800000021:10:150
2148512997916,31cyclictest16850irq/134-800000021:10:150
2148512997820,34cyclictest16850irq/134-800000023:45:320
2148512997819,33cyclictest16850irq/134-800000022:20:040
2148512997818,35cyclictest16850irq/134-800000022:59:560
2148512997717,30cyclictest16850irq/134-800000023:19:370
2148512997615,32cyclictest16850irq/134-800000023:31:370
2148512997518,34cyclictest16850irq/134-800000000:33:340
2148512997418,33cyclictest16850irq/134-800000021:44:390
2148512997418,33cyclictest16850irq/134-800000021:44:390
2148521997225,42cyclictest275-21dbus-daemon21:05:012
2148521997225,42cyclictest275-21dbus-daemon21:05:002
2148512997219,32cyclictest16850irq/134-800000023:51:040
2148521997017,16cyclictest275-21dbus-daemon21:55:012
2148512996917,35cyclictest16850irq/134-800000022:54:200
2148521996827,36cyclictest309-21in:imuxsock23:45:032
2148512996834,19cyclictest16950irq/224-800000022:15:030
2148521996724,38cyclictest2208798-21sh23:07:392
2148521996624,37cyclictest2225169-21sh23:43:362
2148521996624,37cyclictest2225169-21sh23:43:362
2148521996624,37cyclictest2195662-21sh22:38:502
2148521996624,37cyclictest2195662-21sh22:38:502
2148521996522,38cyclictest2184651-21sh22:14:552
214852199652,16cyclictest2180171-21munin-run22:05:012
214851299653,5cyclictest131rcu_preempt00:40:020
2148521996419,5cyclictest2211439-21sh23:13:362
2148512996420,34cyclictest16850irq/134-800000000:00:190
2148521996324,33cyclictest2243935-21sh00:24:282
2148521996324,33cyclictest2243935-21sh00:24:282
2148521996224,34cyclictest2187208-21latency_hist22:20:032
2148521996221,37cyclictest30-21ksoftirqd/219:32:232
2148521996221,37cyclictest30-21ksoftirqd/219:32:222
2148521996221,37cyclictest2154688-21diskmemload22:41:502
214851799625,10cyclictest23-21ksoftirqd/119:35:011
214851799625,10cyclictest23-21ksoftirqd/119:35:011
2148512996231,24cyclictest12-21ksoftirqd/023:55:030
2148521996116,13cyclictest3467602-21systemd-journal23:27:322
214852199602,17cyclictest2200166-21ssh22:48:442
214852199602,17cyclictest2200166-21ssh22:48:432
214852199602,16cyclictest2233448-21ssh00:01:052
2148521996012,42cyclictest0-21swapper/200:00:002
214852199601,16cyclictest2152043-21cron20:16:592
2148512996016,15cyclictest131rcu_preempt23:26:350
2148527995912,9cyclictest131rcu_preempt22:50:003
2148527995912,9cyclictest131rcu_preempt22:49:593
214852199592,16cyclictest2177137-21ssh21:58:252
2148517995914,10cyclictest23-21ksoftirqd/121:45:021
2148517995914,10cyclictest23-21ksoftirqd/121:45:011
2148512995920,35cyclictest16850irq/134-800000022:00:010
2148521995838,15cyclictest1-21systemd21:45:012
2148521995838,15cyclictest1-21systemd21:45:012
2148521995823,30cyclictest2154688-21diskmemload21:28:582
2148521995822,32cyclictest2148673-21sshd19:10:232
2148521995814,14cyclictest275-21dbus-daemon20:55:002
2148512995819,34cyclictest16850irq/134-800000022:25:310
2148512995816,37cyclictest16850irq/134-800000022:05:430
2148512995816,14cyclictest131rcu_preempt22:10:250
214852199572,15cyclictest2241858-21munin-run00:20:012
214852199572,15cyclictest2156649-21ssh21:14:222
214852199572,15cyclictest2156649-21ssh21:14:212
2148521995720,33cyclictest2154688-21diskmemload21:15:592
2148521995719,33cyclictest2250956-21ssh00:40:002
2148521995712,10cyclictest2150057-21sort19:40:012
214851799577,11cyclictest23-21ksoftirqd/123:06:241
214851799576,7cyclictest23-21ksoftirqd/100:35:011
214851799575,14cyclictest23-21ksoftirqd/122:30:021
2148512995728,13cyclictest2197978-21ssh22:43:480
2148512995719,33cyclictest16850irq/134-800000023:38:570
2148512995718,30cyclictest16850irq/134-800000000:10:480
2148512995717,36cyclictest16850irq/134-800000021:15:170
2148512995717,31cyclictest16850irq/134-800000021:30:020
2148521995626,24cyclictest2207399-21sh23:04:492
214852199562,20cyclictest2236208-21sh00:07:282
214852199562,18cyclictest2212565-21ssh23:15:442
214852199562,16cyclictest2237532-21ssh00:10:122
214852199562,15cyclictest2220847-21ssh23:34:142
214852199562,15cyclictest2187996-21ssh22:21:482
2148521995621,31cyclictest30-21ksoftirqd/223:22:472
2148521995614,4cyclictest0-21swapper/220:42:112
214851799567,5cyclictest131rcu_preempt23:55:011
214851799564,15cyclictest23-21ksoftirqd/122:00:011
214851799563,13cyclictest23-21ksoftirqd/100:00:011
2148512995619,33cyclictest16850irq/134-800000022:35:430
2148512995619,33cyclictest16850irq/134-800000022:35:420
2148512995619,33cyclictest16850irq/134-800000000:16:470
2148512995618,34cyclictest16850irq/134-800000000:06:020
2148512995618,30cyclictest16850irq/134-800000022:46:300
2148512995618,30cyclictest16850irq/134-800000022:46:300
2148512995617,31cyclictest16850irq/134-800000023:00:440
2148512995616,32cyclictest16850irq/134-800000022:31:200
2148512995615,32cyclictest16850irq/134-800000000:26:070
2148521995524,25cyclictest2154338-21sed21:00:022
214852199552,15cyclictest2230357-21ssh23:54:582
2148521995521,29cyclictest2165175-21sh21:32:242
2148521995513,4cyclictest0-21swapper/221:45:222
214852199551,17cyclictest2160124-21ssh21:21:222
214852199551,17cyclictest2160124-21ssh21:21:212
214852199551,16cyclictest2246609-21latency_hist00:30:012
214851799558,9cyclictest23-21ksoftirqd/123:11:201
214851799558,44cyclictest2182460-21ssh22:10:021
2148512995527,13cyclictest2178460-21ssh22:01:090
2148512995524,15cyclictest2173669-21ssh21:50:460
2148512995518,29cyclictest16850irq/134-800000023:40:200
2148512995518,29cyclictest16850irq/134-800000023:40:190
2148512995516,30cyclictest16850irq/134-800000021:21:070
2148512995516,30cyclictest16850irq/134-800000021:21:060
214852199546,12cyclictest2182394-21modprobe22:10:012
214852199542,15cyclictest2203999-21ssh22:57:092
2148521995413,4cyclictest0-21swapper/223:35:142
214851799548,10cyclictest23-21ksoftirqd/121:55:001
214851799547,12cyclictest23-21ksoftirqd/123:45:011
214851799547,12cyclictest23-21ksoftirqd/123:45:011
214851799544,10cyclictest23-21ksoftirqd/120:40:011
214851799541,15cyclictest23-21ksoftirqd/100:10:001
2148512995415,32cyclictest16850irq/134-800000023:12:430
214852199533,16cyclictest2153648-21munin-run20:50:012
214852199532,14cyclictest1-21systemd20:00:002
214851799539,5cyclictest131rcu_preempt23:49:051
214851799538,7cyclictest23-21ksoftirqd/122:37:221
214851799538,7cyclictest23-21ksoftirqd/122:37:221
214851799535,8cyclictest23-21ksoftirqd/121:50:001
214851799534,21cyclictest23-21ksoftirqd/100:21:451
214851799534,21cyclictest23-21ksoftirqd/100:21:441
2148517995310,5cyclictest131rcu_preempt22:50:011
2148517995310,5cyclictest131rcu_preempt22:50:011
214852199529,9cyclictest2190016-21sh22:26:262
214852199522,16cyclictest2248607-21ssh00:34:392
214852199521,19cyclictest2148557-21cat19:10:012
214852199521,15cyclictest2192002-21ssh22:30:332
214851799529,8cyclictest23-21ksoftirqd/122:17:001
2148517995245,4cyclictest2159446-21sh21:20:021
2148517995241,7cyclictest221rcuc/121:10:001
214851799521,8cyclictest23-21ksoftirqd/123:30:441
2148517995215,11cyclictest23-21ksoftirqd/121:39:081
2148517995210,12cyclictest23-21ksoftirqd/123:25:021
214852199514,13cyclictest2151819-21modprobe20:15:002
2148521995114,8cyclictest30-21ksoftirqd/220:25:022
2148521995114,8cyclictest30-21ksoftirqd/220:25:022
214851799517,8cyclictest23-21ksoftirqd/100:30:021
214851799517,7cyclictest23-21ksoftirqd/119:20:011
214851799513,9cyclictest23-21ksoftirqd/100:00:391
214851799511,8cyclictest2180159-21munin-run22:05:001
2148517995111,11cyclictest23-21ksoftirqd/123:38:581
214851299512,44cyclictest2152099-21sendmail20:19:590
214852799507,3cyclictest150-21pr/ttyS200:35:553
2148527995034,10cyclictest275-21dbus-daemon00:00:033
2148521995042,5cyclictest2151075-21kworker/2:120:35:012
2148521995042,5cyclictest2151075-21kworker/2:120:30:002
214852199502,16cyclictest2200926-21ssh22:50:102
214852199501,16cyclictest2166966-21ssh21:36:072
214851799508,8cyclictest23-21ksoftirqd/121:13:151
214851799508,8cyclictest23-21ksoftirqd/121:13:141
214851799505,7cyclictest23-21ksoftirqd/119:30:011
214851799505,5cyclictest131rcu_preempt22:33:181
214851799505,11cyclictest23-21ksoftirqd/120:34:591
2148517995040,7cyclictest23-21ksoftirqd/122:59:531
214851799501,15cyclictest23-21ksoftirqd/100:15:181
2148517995011,5cyclictest131rcu_preempt22:52:291
214852799498,5cyclictest131rcu_preempt23:09:233
214852799493,7cyclictest0-21swapper/323:24:063
214852799491,5cyclictest0-21swapper/321:42:383
214852799491,5cyclictest0-21swapper/321:42:373
214852199493,37cyclictest291rcuc/219:40:012
214852199492,20cyclictest2149337-21latency_hist19:25:022
214852199492,17cyclictest2151569-21munin-run20:10:012
214852199492,17cyclictest2151569-21munin-run20:10:002
2148521994918,4cyclictest3467562-21sshd19:16:232
214851799497,11cyclictest23-21ksoftirqd/123:04:591
214851799495,11cyclictest23-21ksoftirqd/121:29:331
214851799494,9cyclictest23-21ksoftirqd/122:45:011
2148517994910,5cyclictest131rcu_preempt21:35:021
2148527994828,14cyclictest275-21dbus-daemon19:30:013
214852799481,6cyclictest0-21swapper/321:22:543
214852799481,6cyclictest0-21swapper/321:22:543
2148527994811,6cyclictest131rcu_preempt20:37:233
2148521994832,11cyclictest275-21dbus-daemon21:10:012
214852199483,17cyclictest2149599-21latency_hist19:30:022
214851799488,9cyclictest23-21ksoftirqd/123:26:131
214851799486,9cyclictest23-21ksoftirqd/122:25:021
214851799486,7cyclictest23-21ksoftirqd/100:38:241
214851799485,6cyclictest131rcu_preempt21:25:011
214851799485,6cyclictest131rcu_preempt21:25:011
214851799481,6cyclictest0-21swapper/123:18:101
2148517994811,5cyclictest131rcu_preempt22:13:401
2148512994814,31cyclictest2148451-21latency_hist19:10:010
2148512994810,5cyclictest2153531-21latency_hist20:45:010
2148527994730,13cyclictest2193822-21munin-run22:35:003
214852799472,8cyclictest37-21ksoftirqd/323:39:183
2148517994738,6cyclictest221rcuc/100:13:151
214851799471,8cyclictest2153398-21grep20:45:001
2148517994711,4cyclictest131rcu_preempt19:40:011
214852799468,6cyclictest131rcu_preempt19:55:013
214852799462,3cyclictest131rcu_preempt22:35:483
214852799462,3cyclictest131rcu_preempt22:35:483
214852799461,7cyclictest2150266-21sshd19:44:233
2148527994612,5cyclictest131rcu_preempt00:31:553
2148521994611,31cyclictest0-21swapper/219:55:012
214851299464,4cyclictest131rcu_preempt21:00:010
2148512994628,14cyclictest2150508-21sshd19:47:240
2148512994628,13cyclictest3467602-21systemd-journal21:01:230
2148512994628,13cyclictest3467602-21systemd-journal21:01:230
214852799457,6cyclictest131rcu_preempt00:00:383
214852799454,3cyclictest131rcu_preempt23:45:353
2148527994531,10cyclictest2244417-21sed00:25:033
2148527994529,11cyclictest3467602-21systemd-journal21:29:593
2148527994527,13cyclictest275-21dbus-daemon23:30:013
2148527994526,14cyclictest3467602-21systemd-journal22:15:013
2148527994510,5cyclictest131rcu_preempt23:30:243
2148521994518,5cyclictest2150531-21latency_hist19:50:032
2148517994519,18cyclictest275-21dbus-daemon20:50:001
2148517994511,9cyclictest131rcu_preempt20:20:021
214851299452,38cyclictest2151026-21cron19:59:590
214851299452,38cyclictest0-21swapper/019:30:000
2148527994429,11cyclictest2154830-21sed21:10:013
2148527994418,5cyclictest37-21ksoftirqd/323:02:243
214851799447,8cyclictest23-21ksoftirqd/120:55:011
214851799445,9cyclictest23-21ksoftirqd/121:05:021
214851799445,9cyclictest23-21ksoftirqd/121:05:011
214851299448,6cyclictest131rcu_preempt19:24:590
214851299443,7cyclictest2153126-21munin-run20:40:010
214852799433,3cyclictest131rcu_preempt22:28:013
214852799432,12cyclictest2181178-21ssh22:07:033
214852799431,4cyclictest131rcu_preempt23:19:343
214852799431,4cyclictest131rcu_preempt22:05:013
2148527994310,8cyclictest37-21ksoftirqd/322:23:353
214851799437,7cyclictest23-21ksoftirqd/119:25:001
214851799436,10cyclictest23-21ksoftirqd/119:42:231
2148512994328,11cyclictest2151297-21sshd20:03:230
2148512994325,12cyclictest1-21systemd19:35:010
2148512994325,12cyclictest1-21systemd19:35:000
214852799426,8cyclictest37-21ksoftirqd/321:59:373
214852799424,4cyclictest131rcu_preempt00:05:483
214852799423,34cyclictest150-21pr/ttyS221:12:283
214852799423,34cyclictest150-21pr/ttyS221:12:283
2148527994227,11cyclictest37-21ksoftirqd/320:45:023
214851799423,8cyclictest23-21ksoftirqd/120:30:021
214851799421,8cyclictest2154246-21latency_hist21:00:021
2148512994230,9cyclictest12-21ksoftirqd/020:25:020
2148512994230,9cyclictest12-21ksoftirqd/020:25:020
2148512994230,9cyclictest1-21systemd20:50:010
2148512994230,8cyclictest12-21ksoftirqd/020:10:030
2148512994230,8cyclictest12-21ksoftirqd/020:10:020
214852799418,7cyclictest131rcu_preempt21:16:383
214852799414,3cyclictest131rcu_preempt22:56:453
2148527994130,8cyclictest37-21ksoftirqd/300:11:263
214852799412,9cyclictest2185749-21sh22:16:573
2148527994129,9cyclictest37-21ksoftirqd/321:00:003
2148527994128,10cyclictest37-21ksoftirqd/319:15:003
214852799412,10cyclictest2201195-21ssh22:50:573
214851799417,11cyclictest23-21ksoftirqd/120:00:231
214851799415,8cyclictest23-21ksoftirqd/119:55:011
214851799415,10cyclictest23-21ksoftirqd/120:25:011
214851799415,10cyclictest23-21ksoftirqd/120:25:001
2148517994130,7cyclictest23-21ksoftirqd/119:50:021
2148512994124,13cyclictest2152845-21sshd20:33:240
2148512994114,3cyclictest131rcu_preempt19:20:010
214852799408,4cyclictest131rcu_preempt00:18:543
214852799405,7cyclictest37-21ksoftirqd/321:45:253
214852799403,4cyclictest131rcu_preempt00:28:433
2148527994028,9cyclictest37-21ksoftirqd/321:33:083
214852799402,3cyclictest131rcu_preempt23:55:013
2148527994022,13cyclictest1-21systemd20:20:013
214851799409,5cyclictest131rcu_preempt19:57:241
2148517994013,9cyclictest23-21ksoftirqd/120:15:001
2148512994030,7cyclictest16950irq/224-800000021:09:590
2148512994030,6cyclictest309-21in:imuxsock19:15:010
2148512994028,9cyclictest3467602-21systemd-journal19:53:230
2148512994027,10cyclictest12-21ksoftirqd/020:55:010
214852799395,3cyclictest131rcu_preempt23:10:233
214852799393,3cyclictest131rcu_preempt21:55:013
2148527993928,8cyclictest2153874-21sshd20:52:543
214852799392,3cyclictest131rcu_preempt19:35:013
214852799392,3cyclictest131rcu_preempt19:35:003
214852799391,4cyclictest131rcu_preempt21:40:003
214851799391,8cyclictest23-21ksoftirqd/119:14:231
214852799384,5cyclictest131rcu_preempt00:20:323
2148527993827,8cyclictest37-21ksoftirqd/319:25:013
2148527993823,11cyclictest37-21ksoftirqd/323:44:173
2148527993823,11cyclictest37-21ksoftirqd/323:44:173
214852799381,3cyclictest131rcu_preempt22:42:373
2148521993828,6cyclictest2153119-21latency_hist20:40:002
2148512993828,6cyclictest19350irq/34-mmc119:36:320
214852799376,3cyclictest131rcu_preempt20:04:593
214852799374,3cyclictest131rcu_preempt20:48:233
214852799373,3cyclictest131rcu_preempt20:26:233
214852799372,29cyclictest2150013-21munin-run19:40:003
214852799371,32cyclictest2151967-21sed20:15:043
2148517993725,8cyclictest23-21ksoftirqd/120:07:081
2148517993725,8cyclictest23-21ksoftirqd/120:07:081
214851799371,9cyclictest23-21ksoftirqd/119:10:021
214851299374,4cyclictest131rcu_preempt20:15:010
2148512993729,6cyclictest12-21ksoftirqd/019:45:010
214851299371,3cyclictest131rcu_preempt20:30:000
214852799364,3cyclictest131rcu_preempt20:10:013
214852799364,3cyclictest131rcu_preempt20:10:003
2148527993626,6cyclictest3467602-21systemd-journal20:20:243
2148527993626,6cyclictest3467602-21systemd-journal20:20:233
214852799362,3cyclictest131rcu_preempt19:58:243
2148527993622,10cyclictest37-21ksoftirqd/319:50:013
214852799361,3cyclictest131rcu_preempt20:35:013
2148527993521,10cyclictest2148986-21tr19:20:013
2148521993524,8cyclictest30-21ksoftirqd/220:05:012
2148527993320,10cyclictest3467602-21systemd-journal21:02:553
2148527993320,10cyclictest3467602-21systemd-journal21:02:553
2148527992922,4cyclictest2148578-21latency_hist19:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional