You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-10 - 23:30

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Tue Mar 10, 2026 12:45:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
129366199741,55cyclictest3467602-21systemd-journal11:10:031
1293659997110,31cyclictest131rcu_preempt12:20:010
1293659997024,13cyclictest12-21ksoftirqd/009:20:010
1293659996919,41cyclictest12-21ksoftirqd/010:00:480
1293659996717,42cyclictest12-21ksoftirqd/009:51:520
1293659996623,15cyclictest1348079-21ssh10:57:470
1293659996623,15cyclictest1348079-21ssh10:57:470
1293659996525,5cyclictest131rcu_preempt09:58:450
1293659996443,5cyclictest16850irq/134-800000009:40:010
1293659996426,10cyclictest12-21ksoftirqd/012:34:230
129365999642,46cyclictest1381433-21ssh12:12:220
1293665996347,5cyclictest1353882-21kworker/2:211:23:412
1293659996310,5cyclictest131rcu_preempt09:26:060
1293665996247,7cyclictest1292791-21kworker/2:111:10:432
1293659996226,6cyclictest131rcu_preempt11:56:380
1293665996146,6cyclictest1353882-21kworker/2:212:11:452
1293659996118,34cyclictest16850irq/134-800000012:40:020
1293659996116,6cyclictest131rcu_preempt12:23:180
1293659996116,41cyclictest12-21ksoftirqd/011:07:430
129365999611,23cyclictest12-21ksoftirqd/009:30:320
129365999606,19cyclictest1333452-21latency_hist10:25:020
1293659996017,35cyclictest16850irq/134-800000012:02:270
1293659996017,14cyclictest12-21ksoftirqd/011:46:180
1293665995944,7cyclictest1292791-21kworker/2:109:35:452
1293665995943,7cyclictest1292791-21kworker/2:110:52:372
1293665995937,17cyclictest1-21systemd10:25:012
129365999594,44cyclictest131rcu_preempt10:49:190
1293659995919,36cyclictest16850irq/134-800000010:54:330
1293659995919,31cyclictest16850irq/134-800000011:36:240
1293659995917,38cyclictest16850irq/134-800000009:40:060
1293659995917,33cyclictest16850irq/134-800000011:13:500
1293659995917,33cyclictest16850irq/134-800000010:12:250
1293659995914,36cyclictest16850irq/134-800000011:42:290
1293659995914,36cyclictest16850irq/134-800000011:42:280
1293659995913,6cyclictest131rcu_preempt12:29:490
1293659995912,6cyclictest131rcu_preempt11:25:000
1293659995912,6cyclictest131rcu_preempt07:35:000
1293659995910,5cyclictest131rcu_preempt12:06:340
1293665995844,7cyclictest1362466-21kworker/2:012:36:532
129365999589,7cyclictest131rcu_preempt09:25:010
1293659995851,4cyclictest16950irq/224-800000008:39:590
1293659995829,13cyclictest1360480-21ssh11:25:060
1293659995819,35cyclictest16850irq/134-800000010:30:320
1293659995819,35cyclictest16850irq/134-800000009:49:130
1293659995818,36cyclictest16850irq/134-800000011:51:040
1293659995818,36cyclictest1340050-21cron10:40:000
1293659995816,34cyclictest16850irq/134-800000010:27:520
1293659995816,34cyclictest16850irq/134-800000010:27:520
1293659995816,33cyclictest16850irq/134-800000009:12:370
1293659995814,35cyclictest16850irq/134-800000010:41:120
1293659995812,6cyclictest131rcu_preempt11:20:010
1293659995812,6cyclictest131rcu_preempt11:20:000
1293659995811,26cyclictest131rcu_preempt10:05:130
1293659995811,26cyclictest131rcu_preempt10:05:120
129366999577,6cyclictest131rcu_preempt10:40:023
1293669995723,10cyclictest37-21ksoftirqd/309:39:143
1293665995747,6cyclictest1296720-21kworker/2:010:14:102
1293665995743,7cyclictest1292791-21kworker/2:109:54:362
1293665995743,5cyclictest1292791-21kworker/2:110:40:352
1293665995741,7cyclictest1296720-21kworker/2:010:05:262
1293665995741,7cyclictest1296720-21kworker/2:010:05:252
129365999577,11cyclictest12-21ksoftirqd/007:20:000
1293659995728,14cyclictest1362795-21ssh11:30:190
1293659995716,32cyclictest16850irq/134-800000011:00:070
1293659995715,33cyclictest16850irq/134-800000010:16:150
129366999568,7cyclictest131rcu_preempt10:00:013
129366999568,6cyclictest131rcu_preempt11:15:033
129366999567,6cyclictest131rcu_preempt12:40:013
129366999563,8cyclictest37-21ksoftirqd/309:14:213
1293669995613,6cyclictest131rcu_preempt11:57:533
1293669995612,6cyclictest131rcu_preempt07:40:033
1293665995643,5cyclictest1296720-21kworker/2:010:17:282
1293665995639,8cyclictest1362466-21kworker/2:012:00:202
1293661995610,6cyclictest131rcu_preempt08:55:001
1293669995515,6cyclictest37-21ksoftirqd/312:05:023
1293665995545,5cyclictest1292791-21kworker/2:110:27:062
1293665995545,5cyclictest1292791-21kworker/2:110:27:052
1293661995522,22cyclictest23-21ksoftirqd/110:40:221
129366199551,43cyclictest1378118-21ssh12:05:011
129365999555,5cyclictest131rcu_preempt08:35:020
1293659995518,5cyclictest131rcu_preempt09:10:030
1293659995516,6cyclictest131rcu_preempt08:50:010
1293659995516,6cyclictest131rcu_preempt08:50:010
129366999548,6cyclictest131rcu_preempt10:55:033
129366999547,5cyclictest131rcu_preempt10:30:233
1293669995422,5cyclictest131rcu_preempt11:30:003
1293669995413,6cyclictest131rcu_preempt10:10:003
1293669995413,6cyclictest131rcu_preempt10:10:003
1293669995412,6cyclictest131rcu_preempt10:50:013
1293665995446,5cyclictest1353882-21kworker/2:212:19:052
1293665995446,5cyclictest1296720-21kworker/2:009:28:202
1293665995445,6cyclictest1353882-21kworker/2:211:54:252
1293665995444,6cyclictest1296720-21kworker/2:010:50:022
1293661995420,22cyclictest23-21ksoftirqd/110:30:551
129366999539,5cyclictest131rcu_preempt07:45:033
129366999536,7cyclictest131rcu_preempt10:10:163
129366999536,5cyclictest131rcu_preempt09:50:013
129366999533,5cyclictest131rcu_preempt12:14:593
1293669995312,9cyclictest131rcu_preempt11:35:373
1293665995346,4cyclictest1362466-21kworker/2:012:31:472
1293665995344,6cyclictest1362466-21kworker/2:012:21:422
1293665995344,6cyclictest1353882-21kworker/2:211:56:082
1293665995344,6cyclictest1292791-21kworker/2:109:33:272
1293665995344,5cyclictest1296720-21kworker/2:008:45:022
1293665995339,7cyclictest1292791-21kworker/2:111:09:422
1293665995338,6cyclictest1362466-21kworker/2:012:06:242
1293665995337,7cyclictest1292791-21kworker/2:109:55:292
1293665995331,9cyclictest30-21ksoftirqd/207:15:012
1293661995310,5cyclictest131rcu_preempt10:20:011
129366999528,5cyclictest131rcu_preempt11:10:013
129366999527,7cyclictest131rcu_preempt08:39:593
129366999527,6cyclictest131rcu_preempt09:25:013
129366999527,5cyclictest131rcu_preempt10:04:593
129366999527,11cyclictest37-21ksoftirqd/311:55:013
129366999525,7cyclictest37-21ksoftirqd/312:25:013
129366999525,7cyclictest131rcu_preempt09:05:003
129366999522,5cyclictest131rcu_preempt08:10:023
1293665995245,4cyclictest1292791-21kworker/2:108:15:022
1293665995244,5cyclictest1362466-21kworker/2:011:48:472
1293665995244,5cyclictest1353882-21kworker/2:211:28:242
1293665995244,5cyclictest1353882-21kworker/2:211:18:242
1293665995244,5cyclictest1353882-21kworker/2:211:18:242
1293665995244,5cyclictest1296720-21kworker/2:010:35:552
1293665995244,5cyclictest1296720-21kworker/2:009:11:402
129366199529,6cyclictest131rcu_preempt09:00:031
129366199526,6cyclictest131rcu_preempt07:20:011
1293661995214,22cyclictest23-21ksoftirqd/112:22:351
129365999525,10cyclictest12-21ksoftirqd/007:11:190
1293659995212,6cyclictest131rcu_preempt07:55:010
1293659995210,5cyclictest131rcu_preempt08:45:010
129366999519,7cyclictest131rcu_preempt12:10:013
129366999515,7cyclictest131rcu_preempt08:15:003
129366999511,7cyclictest131rcu_preempt07:45:023
1293669995117,21cyclictest131rcu_preempt09:31:583
1293669995111,6cyclictest131rcu_preempt07:25:013
1293669995111,6cyclictest131rcu_preempt07:25:013
1293669995110,5cyclictest131rcu_preempt11:20:003
1293669995110,5cyclictest131rcu_preempt11:20:003
1293665995143,5cyclictest1362466-21kworker/2:012:26:052
1293665995143,5cyclictest1296720-21kworker/2:009:16:042
129366199512,4cyclictest131rcu_preempt12:10:001
129366199512,32cyclictest1328656-21kworker/u8:110:55:031
129366999509,5cyclictest131rcu_preempt09:10:013
129366999508,6cyclictest131rcu_preempt09:17:513
129366999508,5cyclictest131rcu_preempt11:20:443
129366999502,6cyclictest131rcu_preempt11:47:233
1293669995018,21cyclictest361rcuc/308:55:003
1293669995016,22cyclictest131rcu_preempt10:26:303
1293669995016,22cyclictest131rcu_preempt10:26:293
1293669995016,20cyclictest131rcu_preempt07:20:023
1293665995043,5cyclictest1292791-21kworker/2:110:30:452
1293665995042,5cyclictest1296720-21kworker/2:009:45:452
1293665995042,5cyclictest1296720-21kworker/2:009:23:552
1293665995042,5cyclictest1292791-21kworker/2:110:55:192
1293665995042,5cyclictest1292791-21kworker/2:110:55:192
1293665995042,4cyclictest1353882-21kworker/2:211:35:422
1293665995037,5cyclictest1292791-21kworker/2:109:40:172
1293665995035,11cyclictest3467602-21systemd-journal07:54:592
129366199502,6cyclictest131rcu_preempt12:28:181
1293661995020,18cyclictest23-21ksoftirqd/109:33:481
129365999502,44cyclictest1296704-21modprobe08:09:590
129365999502,16cyclictest12-21ksoftirqd/007:25:010
129365999502,16cyclictest12-21ksoftirqd/007:25:000
1293659995011,11cyclictest12-21ksoftirqd/009:00:020
129366999497,6cyclictest131rcu_preempt10:57:303
129366999497,6cyclictest131rcu_preempt10:57:293
129366999492,7cyclictest37-21ksoftirqd/310:44:543
129366999492,5cyclictest131rcu_preempt11:05:023
1293669994919,21cyclictest37-21ksoftirqd/311:40:213
1293669994919,21cyclictest37-21ksoftirqd/311:40:213
129366999491,6cyclictest131rcu_preempt12:30:013
129366999491,6cyclictest0-21swapper/312:17:403
1293669994916,23cyclictest131rcu_preempt08:20:023
1293669994915,30cyclictest131rcu_preempt10:19:283
1293669994914,6cyclictest131rcu_preempt07:35:003
1293669994913,5cyclictest131rcu_preempt08:45:003
1293669994912,6cyclictest131rcu_preempt12:30:153
1293665994941,5cyclictest1362466-21kworker/2:011:40:242
1293665994941,5cyclictest1362466-21kworker/2:011:40:232
1293665994941,5cyclictest1292791-21kworker/2:110:00:502
1293665994941,5cyclictest1292791-21kworker/2:108:33:212
1293665994941,5cyclictest1292791-21kworker/2:107:27:292
1293665994940,6cyclictest1292791-21kworker/2:111:00:032
1293665994924,16cyclictest0-21swapper/207:25:022
1293665994924,16cyclictest0-21swapper/207:25:012
129366199493,5cyclictest131rcu_preempt09:20:001
1293661994933,12cyclictest1-21systemd09:10:001
1293661994921,6cyclictest131rcu_preempt12:38:501
129365999495,10cyclictest12-21ksoftirqd/007:40:010
1293659994945,2cyclictest0-21swapper/008:25:010
1293659994941,5cyclictest12-21ksoftirqd/009:03:280
1293659994913,5cyclictest131rcu_preempt07:50:020
129366999489,6cyclictest131rcu_preempt08:00:003
129366999488,6cyclictest131rcu_preempt08:50:023
129366999488,6cyclictest131rcu_preempt08:50:013
129366999488,5cyclictest131rcu_preempt10:25:003
129366999483,6cyclictest131rcu_preempt11:35:013
129366999482,6cyclictest131rcu_preempt09:00:023
1293669994816,20cyclictest131rcu_preempt09:45:023
129366999481,5cyclictest131rcu_preempt09:27:183
1293669994811,5cyclictest131rcu_preempt09:50:233
1293665994840,5cyclictest1292791-21kworker/2:108:10:012
1293661994823,21cyclictest23-21ksoftirqd/110:00:201
1293661994823,21cyclictest23-21ksoftirqd/109:15:001
1293661994818,20cyclictest23-21ksoftirqd/109:20:071
1293661994815,23cyclictest23-21ksoftirqd/110:35:211
129365999489,4cyclictest131rcu_preempt07:25:180
129365999486,12cyclictest12-21ksoftirqd/007:58:170
1293659994810,6cyclictest131rcu_preempt08:55:010
1293665994739,5cyclictest1353882-21kworker/2:211:33:182
1293665994721,21cyclictest30-21ksoftirqd/209:00:002
1293661994732,11cyclictest3467602-21systemd-journal10:45:011
1293661994720,17cyclictest23-21ksoftirqd/111:52:231
1293661994718,20cyclictest23-21ksoftirqd/110:26:031
1293661994718,20cyclictest23-21ksoftirqd/110:26:031
1293661994717,19cyclictest23-21ksoftirqd/109:37:191
1293661994714,10cyclictest23-21ksoftirqd/112:11:101
1293659994710,6cyclictest131rcu_preempt08:30:010
129366999465,6cyclictest131rcu_preempt07:10:033
129366999465,6cyclictest131rcu_preempt07:10:023
129366999461,5cyclictest131rcu_preempt07:30:003
1293669994614,20cyclictest131rcu_preempt07:55:013
1293665994639,4cyclictest1296720-21kworker/2:009:00:032
1293665994638,5cyclictest1296720-21kworker/2:008:45:072
1293665994638,5cyclictest1296720-21kworker/2:008:45:062
1293665994638,5cyclictest1296720-21kworker/2:008:40:002
129366199467,31cyclictest1360220-21grep11:25:011
1293661994624,11cyclictest23-21ksoftirqd/107:25:021
1293661994624,11cyclictest23-21ksoftirqd/107:25:021
1293661994621,16cyclictest23-21ksoftirqd/111:37:321
1293669994531,11cyclictest1-21systemd07:15:003
1293669994514,19cyclictest131rcu_preempt08:05:033
1293665994537,5cyclictest1292791-21kworker/2:108:02:052
1293665994537,5cyclictest1292791-21kworker/2:107:59:522
1293665994537,5cyclictest1292791-21kworker/2:107:17:032
1293661994537,6cyclictest23-21ksoftirqd/109:50:021
1293661994521,4cyclictest23-21ksoftirqd/111:44:351
1293661994521,4cyclictest23-21ksoftirqd/111:44:341
1293661994521,19cyclictest23-21ksoftirqd/111:25:101
1293661994517,17cyclictest23-21ksoftirqd/111:57:411
1293661994517,16cyclictest23-21ksoftirqd/111:30:171
129366199451,6cyclictest131rcu_preempt07:45:021
129366199451,5cyclictest131rcu_preempt12:20:011
1293661994515,19cyclictest23-21ksoftirqd/107:50:011
1293661994513,5cyclictest131rcu_preempt11:08:301
1293661994511,5cyclictest131rcu_preempt08:20:001
129365999459,8cyclictest131rcu_preempt08:15:030
129365999457,5cyclictest131rcu_preempt08:05:010
1293659994538,4cyclictest16950irq/224-800000007:45:000
1293669994412,5cyclictest131rcu_preempt08:25:013
1293665994422,19cyclictest30-21ksoftirqd/207:40:012
129366599441,5cyclictest131rcu_preempt09:10:012
1293661994432,9cyclictest23-21ksoftirqd/107:30:011
1293661994429,11cyclictest1-21systemd09:30:021
1293661994427,5cyclictest23-21ksoftirqd/109:54:331
1293661994419,17cyclictest0-21swapper/110:23:041
1293661994418,5cyclictest131rcu_preempt09:42:121
1293661994417,16cyclictest23-21ksoftirqd/110:59:531
1293661994417,16cyclictest23-21ksoftirqd/110:59:531
1293661994413,22cyclictest23-21ksoftirqd/110:13:311
129366999434,5cyclictest131rcu_preempt08:30:003
129366999433,9cyclictest37-21ksoftirqd/308:35:013
129366199437,9cyclictest0-21swapper/109:57:051
129366199435,9cyclictest23-21ksoftirqd/107:12:261
129366199432,6cyclictest131rcu_preempt11:47:171
1293661994318,5cyclictest131rcu_preempt12:34:231
1293661994312,17cyclictest23-21ksoftirqd/111:00:261
129365999433,36cyclictest0-21swapper/008:20:010
1293665994234,5cyclictest1292791-21kworker/2:107:42:522
1293661994231,7cyclictest1-21systemd08:15:001
1293661994221,5cyclictest23-21ksoftirqd/108:00:001
1293661994220,4cyclictest23-21ksoftirqd/111:17:051
1293661994220,4cyclictest23-21ksoftirqd/111:17:041
1293661994219,5cyclictest23-21ksoftirqd/109:05:001
1293665994126,12cyclictest3467602-21systemd-journal07:47:022
129366199419,4cyclictest131rcu_preempt08:50:011
129366199419,4cyclictest131rcu_preempt08:50:001
1293661994116,16cyclictest23-21ksoftirqd/108:27:041
1293661994110,21cyclictest23-21ksoftirqd/110:05:131
1293661994110,21cyclictest23-21ksoftirqd/110:05:121
1293665994032,5cyclictest1296720-21kworker/2:008:53:272
1293665994032,5cyclictest1292791-21kworker/2:107:35:012
1293665994029,8cyclictest30-21ksoftirqd/208:17:012
1293665994026,10cyclictest3467602-21systemd-journal08:27:322
129366199404,5cyclictest131rcu_preempt08:10:001
129366199392,4cyclictest131rcu_preempt07:35:001
1293661993923,4cyclictest23-21ksoftirqd/108:40:021
1293661993922,4cyclictest23-21ksoftirqd/107:35:021
1293661993922,13cyclictest23-21ksoftirqd/108:21:171
1293661993914,15cyclictest23-21ksoftirqd/108:02:241
1293661993914,15cyclictest23-21ksoftirqd/107:54:411
1293665993830,5cyclictest1292791-21kworker/2:108:24:522
1293661993819,4cyclictest23-21ksoftirqd/108:32:031
1293665993723,11cyclictest1293702-21cat07:10:032
1293665993723,11cyclictest1293702-21cat07:10:022
1293661993726,7cyclictest1298523-21cron08:45:001
1293659993725,9cyclictest12-21ksoftirqd/007:10:030
1293659993725,9cyclictest12-21ksoftirqd/007:10:020
1293661992414,7cyclictest1293662-21latency_hist07:10:021
1293661992414,7cyclictest1293662-21latency_hist07:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional