You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-28 - 18:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Mon Sep 28, 2026 12:45:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1484711998884,2cyclictest0-21swapper/007:10:020
148471199746,8cyclictest121ksoftirqd/010:33:220
148471199746,8cyclictest121ksoftirqd/010:33:210
1484718997123,11cyclictest1571157-21date12:00:021
148471199674,11cyclictest12-21ksoftirqd/011:10:010
148471199673,11cyclictest12-21ksoftirqd/012:00:010
148471199667,5cyclictest131rcu_preempt10:15:110
148471199657,6cyclictest121ksoftirqd/011:47:060
148471199645,5cyclictest131rcu_preempt09:43:400
1484718996315,8cyclictest23-21ksoftirqd/110:20:271
1484711996333,5cyclictest0-21swapper/010:00:470
1484711996333,5cyclictest0-21swapper/010:00:460
1484711996317,40cyclictest311-21rs:main0
148471199629,5cyclictest131rcu_preempt09:18:140
148472299613,49cyclictest1587634-21sh12:35:022
1484718996116,8cyclictest23-21ksoftirqd/109:55:001
1484718996115,10cyclictest23-21ksoftirqd/110:56:351
1484718996114,17cyclictest1559217-1kworker/u9:011:48:521
148471899611,13cyclictest1503018-21ssh09:35:181
148471199613,5cyclictest131rcu_preempt11:30:010
1484711996128,16cyclictest1533718-21ssh10:40:240
1484724996052,6cyclictest37-21ksoftirqd/311:15:023
1484718996023,9cyclictest131rcu_preempt11:43:541
1484718996011,11cyclictest23-21ksoftirqd/111:00:411
1484711996012,24cyclictest0-21swapper/011:21:400
1484711996010,30cyclictest131rcu_preempt11:16:300
1484722995950,5cyclictest1488044-21kworker/2:111:05:292
148471899598,13cyclictest1532578-21ssh10:38:201
148471899597,11cyclictest23-21ksoftirqd/112:05:011
1484718995922,9cyclictest131rcu_preempt11:07:241
1484718995922,9cyclictest131rcu_preempt09:49:041
1484718995921,8cyclictest23-21ksoftirqd/109:21:371
1484718995916,10cyclictest23-21ksoftirqd/111:55:011
1484718995914,9cyclictest23-21ksoftirqd/109:28:221
1484718995914,9cyclictest23-21ksoftirqd/109:28:211
1484718995913,9cyclictest23-21ksoftirqd/109:56:041
1484718995911,10cyclictest23-21ksoftirqd/111:30:011
148471899589,13cyclictest1575335-21ssh12:09:111
148471899587,8cyclictest23-21ksoftirqd/110:35:001
148471899587,8cyclictest23-21ksoftirqd/110:35:001
148471899585,20cyclictest1500654-21ssh09:30:091
1484718995842,12cyclictest3467602-21systemd-journal08:35:001
1484718995826,8cyclictest23-21ksoftirqd/111:18:321
1484718995821,8cyclictest131rcu_preempt12:38:081
1484718995817,7cyclictest23-21ksoftirqd/112:18:501
148471199587,10cyclictest12-21ksoftirqd/007:45:010
148471199586,10cyclictest12-21ksoftirqd/010:49:400
1484711995828,14cyclictest1507962-21ssh09:45:380
1484722995749,5cyclictest1478072-21kworker/2:210:13:242
1484722995749,5cyclictest1478072-21kworker/2:210:13:242
148471899574,16cyclictest1577444-21ssh12:13:421
1484718995713,6cyclictest23-21ksoftirqd/111:24:401
1484718995713,10cyclictest23-21ksoftirqd/108:45:021
1484718995712,8cyclictest23-21ksoftirqd/109:43:161
148471199579,5cyclictest131rcu_preempt10:50:170
148471199573,7cyclictest121ksoftirqd/010:07:460
1484711995729,13cyclictest1582624-21ssh12:24:390
148471199572,8cyclictest12-21ksoftirqd/008:35:000
1484711995715,13cyclictest12-21ksoftirqd/007:50:000
1484711995710,6cyclictest131rcu_preempt12:28:290
148472499563,37cyclictest1571153-21ssh12:00:033
1484724995625,23cyclictest0-21swapper/311:50:213
1484722995647,6cyclictest1488044-21kworker/2:111:00:012
1484722995647,5cyclictest1488044-21kworker/2:111:38:172
1484722995645,6cyclictest1478072-21kworker/2:210:20:012
148471899568,12cyclictest23-21ksoftirqd/111:36:531
1484718995612,10cyclictest23-21ksoftirqd/110:15:191
1484711995623,29cyclictest1499895-21sh09:29:030
1484711995623,29cyclictest1499895-21sh09:29:020
1484711995620,32cyclictest12-21ksoftirqd/011:10:260
1484722995545,6cyclictest1488044-21kworker/2:109:19:422
148471899558,11cyclictest23-21ksoftirqd/111:31:011
148471899552,16cyclictest1490829-21cat09:05:021
1484718995512,7cyclictest23-21ksoftirqd/110:12:221
1484718995512,7cyclictest23-21ksoftirqd/110:12:211
1484711995546,3cyclictest0-21swapper/007:20:040
1484711995529,11cyclictest1527434-21ssh10:27:220
1484711995529,11cyclictest1496990-21ssh09:22:460
1484711995528,12cyclictest1575605-21ssh12:09:450
148471199552,17cyclictest12-21ksoftirqd/010:35:210
148471199551,8cyclictest120-21kswapd012:20:000
1484711995516,34cyclictest12-21ksoftirqd/009:50:350
1484722995446,5cyclictest1488044-21kworker/2:112:30:022
1484722995445,5cyclictest1478072-21kworker/2:210:43:212
1484722995444,6cyclictest1478072-21kworker/2:209:55:192
148471899547,10cyclictest23-21ksoftirqd/111:10:111
148471899546,10cyclictest23-21ksoftirqd/109:16:571
148471899545,8cyclictest23-21ksoftirqd/112:34:091
1484718995414,7cyclictest23-21ksoftirqd/112:25:241
1484718995413,10cyclictest23-21ksoftirqd/108:25:001
148471199549,6cyclictest131rcu_preempt10:12:010
148471199549,6cyclictest131rcu_preempt10:12:000
148471199548,8cyclictest12-21ksoftirqd/009:11:030
148471199548,29cyclictest1484716-21latency_hist07:10:020
148471199547,5cyclictest131rcu_preempt12:36:080
148471199547,5cyclictest131rcu_preempt12:15:020
1484711995437,13cyclictest1-21systemd08:20:010
148471199542,41cyclictest12-21ksoftirqd/008:50:500
148471199541,34cyclictest3467602-21systemd-journal11:00:530
1484724995337,11cyclictest275-21dbus-daemon12:40:013
1484722995346,4cyclictest1488044-21kworker/2:112:00:002
1484722995345,5cyclictest1488044-21kworker/2:111:50:002
1484722995345,5cyclictest1478072-21kworker/2:209:35:282
1484722995345,5cyclictest1478072-21kworker/2:208:19:212
1484722995344,5cyclictest1488044-21kworker/2:111:04:032
1484722995344,5cyclictest1478072-21kworker/2:209:48:402
1484722995343,6cyclictest1488044-21kworker/2:111:27:202
148471899539,6cyclictest1527305-21ssh10:27:061
148471899538,31cyclictest1540503-21ssh10:55:021
148471899537,9cyclictest23-21ksoftirqd/107:45:021
148471899536,11cyclictest23-21ksoftirqd/110:02:011
148471899536,11cyclictest23-21ksoftirqd/110:02:001
148471199538,5cyclictest131rcu_preempt11:37:550
148471199536,10cyclictest12-21ksoftirqd/008:50:030
148471199531,37cyclictest1557869-21ssh11:31:370
1484711995310,5cyclictest131rcu_preempt10:56:570
1484722995244,5cyclictest1488044-21kworker/2:112:20:152
1484722995244,5cyclictest1488044-21kworker/2:112:12:072
1484722995244,5cyclictest1488044-21kworker/2:112:03:402
1484722995244,5cyclictest1478072-21kworker/2:210:47:512
1484722995243,6cyclictest1488044-21kworker/2:110:53:222
1484722995243,5cyclictest1478072-21kworker/2:210:28:032
1484722995242,6cyclictest1488044-21kworker/2:112:07:372
1484718995211,9cyclictest23-21ksoftirqd/108:05:011
148471199526,8cyclictest12-21ksoftirqd/011:41:450
148471199522,38cyclictest12-21ksoftirqd/008:55:230
148471199521,7cyclictest121ksoftirqd/012:32:280
148472299516,3cyclictest131rcu_preempt09:43:182
1484722995143,5cyclictest1488044-21kworker/2:112:36:032
1484722995143,5cyclictest1478072-21kworker/2:210:08:222
1484722995143,5cyclictest1478072-21kworker/2:209:11:032
1484722995143,5cyclictest1478072-21kworker/2:208:35:022
1484722995143,4cyclictest1488044-21kworker/2:111:42:122
1484722995142,6cyclictest1478072-21kworker/2:208:05:062
1484722995142,5cyclictest1488044-21kworker/2:111:30:222
1484722995142,5cyclictest1478072-21kworker/2:210:22:582
148471899519,7cyclictest1485362-21cut07:20:031
148471899519,10cyclictest0-21swapper/108:50:001
148471899516,11cyclictest23-21ksoftirqd/112:21:571
1484718995113,8cyclictest0-21swapper/110:46:271
1484711995122,13cyclictest1571250-21ssh12:00:030
1484711995118,30cyclictest16850irq/134-800000009:55:300
148471199511,4cyclictest131rcu_preempt09:01:220
1484711995110,6cyclictest131rcu_preempt09:34:480
1484724995030,16cyclictest275-21dbus-daemon11:25:013
1484724995029,16cyclictest275-21dbus-daemon08:05:013
1484722995042,5cyclictest1488044-21kworker/2:111:10:292
1484722995042,5cyclictest1488044-21kworker/2:109:33:262
1484722995042,5cyclictest1478072-21kworker/2:210:04:382
1484722995042,5cyclictest1478072-21kworker/2:210:04:372
1484722995041,6cyclictest1478072-21kworker/2:209:51:062
1484722995034,12cyclictest1-21systemd08:55:012
148471899508,8cyclictest1518933-21ssh10:09:311
148471899506,9cyclictest23-21ksoftirqd/107:55:021
148471899506,10cyclictest23-21ksoftirqd/110:40:441
148471199507,7cyclictest12-21ksoftirqd/010:22:470
1484711995028,16cyclictest275-21dbus-daemon09:10:010
1484711995016,29cyclictest12-21ksoftirqd/007:55:210
1484711995015,12cyclictest0-21swapper/009:40:000
1484724994932,13cyclictest1-21systemd11:15:023
148472499492,4cyclictest131rcu_preempt10:34:013
148472499492,4cyclictest131rcu_preempt10:34:003
1484722994941,5cyclictest1488044-21kworker/2:112:16:152
1484722994941,5cyclictest1488044-21kworker/2:111:50:302
1484722994941,5cyclictest1488044-21kworker/2:111:21:342
1484722994941,5cyclictest1488044-21kworker/2:109:26:532
1484722994941,5cyclictest1488044-21kworker/2:109:26:532
1484722994939,6cyclictest1478072-21kworker/2:208:59:592
148471899495,10cyclictest23-21ksoftirqd/109:00:011
148471899494,9cyclictest23-21ksoftirqd/107:15:001
148471899494,7cyclictest23-21ksoftirqd/109:12:101
148471199497,9cyclictest12-21ksoftirqd/008:45:030
1484711994938,7cyclictest19350irq/34-mmc107:40:010
1484711994938,7cyclictest19350irq/34-mmc107:40:010
1484724994831,13cyclictest1495536-21cron09:20:013
148472299487,37cyclictest1488560-21sh08:25:002
1484722994840,5cyclictest1488044-21kworker/2:109:22:222
1484722994840,5cyclictest1478072-21kworker/2:210:35:552
1484722994838,5cyclictest1478072-21kworker/2:208:40:012
1484722994826,18cyclictest1552186-21cat11:20:002
1484722994739,5cyclictest1478072-21kworker/2:210:33:412
1484722994739,5cyclictest1478072-21kworker/2:210:33:402
148471199477,10cyclictest12-21ksoftirqd/007:30:010
148471199471,14cyclictest12-21ksoftirqd/008:25:010
1484724994629,13cyclictest0-21swapper/310:05:013
1484724994629,13cyclictest0-21swapper/310:05:003
1484722994638,5cyclictest1478072-21kworker/2:207:35:022
1484722994636,5cyclictest1478072-21kworker/2:207:15:022
148471899463,9cyclictest23-21ksoftirqd/107:30:211
148471899461,14cyclictest1486828-21date07:50:021
148471199467,10cyclictest12-21ksoftirqd/007:32:210
148472499453,6cyclictest131rcu_preempt09:40:003
1484722994537,5cyclictest1478072-21kworker/2:208:40:432
1484722994536,5cyclictest1478072-21kworker/2:208:30:012
1484722994524,16cyclictest275-21dbus-daemon07:25:012
148471899457,8cyclictest23-21ksoftirqd/108:15:011
148471899457,7cyclictest23-21ksoftirqd/107:40:031
148471899457,7cyclictest23-21ksoftirqd/107:40:031
1484724994425,14cyclictest275-21dbus-daemon10:00:013
148472499442,4cyclictest131rcu_preempt08:20:003
148471899448,10cyclictest1-21systemd07:25:021
1484718994410,8cyclictest23-21ksoftirqd/107:30:001
148471199443,6cyclictest131rcu_preempt08:15:010
1484711994428,11cyclictest3467602-21systemd-journal08:06:220
1484724994331,8cyclictest1486404-21sshd07:40:033
1484724994331,8cyclictest1486404-21sshd07:40:033
1484724994330,9cyclictest309-21in:imuxsock12:05:033
1484724994328,12cyclictest37-21ksoftirqd/307:15:003
1484724994327,11cyclictest309-21in:imuxsock12:24:593
148472299438,6cyclictest131rcu_preempt07:55:212
1484722994336,4cyclictest1478072-21kworker/2:207:20:022
1484718994330,9cyclictest1491086-21wc09:10:031
148471899432,13cyclictest275-21dbus-daemon08:20:011
148471899431,11cyclictest23-21ksoftirqd/108:55:021
1484718994310,9cyclictest23-21ksoftirqd/108:08:441
148471199434,7cyclictest12-21ksoftirqd/008:30:010
1484724994232,6cyclictest1580467-21sh12:20:013
1484724994228,11cyclictest37-21ksoftirqd/312:10:223
1484724994228,10cyclictest275-21dbus-daemon11:00:013
1484724994220,17cyclictest3467602-21systemd-journal11:30:013
148472499421,3cyclictest131rcu_preempt10:21:273
1484722994234,5cyclictest1478072-21kworker/2:209:05:002
1484711994233,6cyclictest1485470-21latency_hist07:25:010
148471199421,7cyclictest1489321-21modprobe08:40:000
148472499416,3cyclictest150-21pr/ttyS207:20:003
1484724994130,9cyclictest37-21ksoftirqd/311:01:133
1484724994129,9cyclictest37-21ksoftirqd/308:25:003
1484722994132,5cyclictest1478072-21kworker/2:208:05:002
1484722994126,11cyclictest1486786-21sed07:50:012
148471899414,32cyclictest1488960-21sort08:30:031
148471199412,10cyclictest1485210-21kworker/0:207:55:030
148472499408,6cyclictest131rcu_preempt10:40:063
1484724994029,8cyclictest1490854-21sshd09:05:333
1484724994028,8cyclictest3467602-21systemd-journal08:11:213
1484724994028,8cyclictest1-21systemd09:30:013
1484724994028,8cyclictest1-21systemd09:30:013
1484724994027,11cyclictest37-21ksoftirqd/310:13:463
1484724994027,11cyclictest37-21ksoftirqd/310:13:463
1484724994027,11cyclictest37-21ksoftirqd/309:48:383
1484722994023,12cyclictest275-21dbus-daemon08:50:002
1484724993929,7cyclictest1532590-21sshd10:38:213
1484724993925,11cyclictest37-21ksoftirqd/311:35:003
1484724993923,11cyclictest37-21ksoftirqd/308:30:003
1484724993911,5cyclictest131rcu_preempt08:05:063
148472299397,6cyclictest131rcu_preempt07:10:022
1484722993931,5cyclictest1478072-21kworker/2:207:50:232
1484722993931,5cyclictest1478072-21kworker/2:207:28:352
1484722993930,7cyclictest30-21ksoftirqd/207:45:002
148471899394,8cyclictest23-21ksoftirqd/108:00:021
1484718993926,10cyclictest1489285-21sshd08:35:211
148471199399,5cyclictest131rcu_preempt08:05:010
148472499385,3cyclictest131rcu_preempt12:31:583
148472499383,3cyclictest131rcu_preempt11:44:333
1484724993826,10cyclictest37-21ksoftirqd/310:05:363
1484724993825,9cyclictest37-21ksoftirqd/308:50:003
1484724993823,12cyclictest275-21dbus-daemon07:25:003
1484724993823,11cyclictest37-21ksoftirqd/309:05:003
148472499372,9cyclictest1559946-21ssh11:36:033
1484724993727,7cyclictest3467602-21systemd-journal08:59:593
148472499372,5cyclictest131rcu_preempt09:55:033
1484724993723,9cyclictest1547634-21wc11:10:023
1484724993721,13cyclictest37-21ksoftirqd/312:03:573
148472499372,10cyclictest150-21pr/ttyS209:30:043
148472499371,5cyclictest0-21swapper/309:24:403
1484724993710,5cyclictest131rcu_preempt12:30:033
1484722993729,5cyclictest1478072-21kworker/2:207:35:072
1484722993729,5cyclictest1478072-21kworker/2:207:35:072
1484722993725,9cyclictest30-21ksoftirqd/208:10:212
148472499364,3cyclictest131rcu_preempt11:45:053
148472499364,3cyclictest131rcu_preempt10:29:343
148472499363,4cyclictest131rcu_preempt10:45:203
1484724993628,5cyclictest1505639-21sh09:40:463
1484724993622,11cyclictest37-21ksoftirqd/308:50:213
1484724993621,11cyclictest275-21dbus-daemon10:55:013
148472499361,3cyclictest131rcu_preempt09:13:123
148472499361,10cyclictest131rcu_preempt07:35:003
148472499353,3cyclictest131rcu_preempt10:15:533
1484724993526,6cyclictest37-21ksoftirqd/307:50:023
1484724993525,8cyclictest37-21ksoftirqd/308:45:023
1484724993521,11cyclictest3467602-21systemd-journal07:55:043
1484724993421,10cyclictest1484741-21sed07:10:023
1484724993319,11cyclictest1-21systemd08:35:003
1484722993324,6cyclictest30-21ksoftirqd/209:10:012
148472499322,3cyclictest131rcu_preempt08:38:523
1484724993221,9cyclictest37-21ksoftirqd/307:45:023
148472499321,7cyclictest150-21pr/ttyS207:29:233
148472499321,28cyclictest1486974-21cron07:55:003
1484718993224,6cyclictest23-21ksoftirqd/107:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional