You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-01 - 16:34

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Wed Jul 01, 2026 12:45:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3395777991301,2cyclictest0-21swapper/009:40:020
3395777999526,36cyclictest3431876-21ssh10:12:320
3395777999329,44cyclictest150-21pr/ttyS211:04:230
3395777998936,11cyclictest0-21swapper/012:31:420
3395777998720,34cyclictest3467602-21systemd-journal09:32:280
3395777998416,31cyclictest0-21swapper/007:40:010
3395777998127,28cyclictest0-21swapper/011:06:450
3395777997915,32cyclictest3437961-21latency_hist10:25:030
3395777997915,32cyclictest3437961-21latency_hist10:25:020
3395777997913,37cyclictest0-21swapper/011:00:030
3395777997821,16cyclictest3409421-21ssh09:25:150
3395777997725,9cyclictest3439093-21ssh10:27:420
3395777997624,15cyclictest3407970-21ssh09:22:260
339577799749,35cyclictest0-21swapper/010:51:200
3395777997424,9cyclictest3494020-21ssh12:22:590
3395777997323,28cyclictest150-21pr/ttyS210:03:450
3395777997323,28cyclictest150-21pr/ttyS210:03:440
3395777997123,26cyclictest0-21swapper/011:48:210
3395777997122,15cyclictest3421050-21sh09:50:010
3395777997116,20cyclictest3414028-21modprobe09:35:030
3395777997111,30cyclictest3471736-21kworker/u8:211:39:300
3395777997111,30cyclictest3422914-21kworker/u8:009:55:350
3395777997111,30cyclictest3422914-21kworker/u8:009:55:340
3395777997022,44cyclictest0-21swapper/012:06:480
3395777997015,38cyclictest3496831-21ssh12:28:510
3395777996965,2cyclictest0-21swapper/008:05:020
3395777996965,2cyclictest0-21swapper/008:05:020
339578699687,10cyclictest30-21ksoftirqd/210:40:002
3395777996835,4cyclictest3464048-21munin-run11:20:020
3395777996823,11cyclictest3489217-21ssh12:12:570
3395777996821,15cyclictest3401255-21cat08:55:010
3395777996820,15cyclictest1-21systemd09:10:000
339577799675,32cyclictest0-21swapper/010:43:000
3395777996727,9cyclictest1-21systemd11:15:010
3395777996723,14cyclictest3433462-21sh10:15:400
3395777996638,20cyclictest3467602-21systemd-journal12:40:000
3395777996623,16cyclictest3467602-21systemd-journal10:40:000
3395777996620,16cyclictest3395984-21systemctl07:15:000
339578699652,10cyclictest30-21ksoftirqd/209:20:002
339577799659,35cyclictest0-21swapper/011:57:330
3395777996511,25cyclictest0-21swapper/009:54:430
3395777996420,14cyclictest3400878-21modprobe08:45:020
3395786996337,17cyclictest30-21ksoftirqd/211:00:032
3395777996322,14cyclictest3470164-21sh11:32:490
339579199629,6cyclictest131rcu_preempt09:20:003
3395777996221,11cyclictest3483964-21rm12:01:440
3395777996211,34cyclictest3474993-21ssh11:43:070
3395777996139,16cyclictest3397863-21latency_hist07:50:010
3395777996116,31cyclictest3479548-21ssh11:52:320
3395777996114,41cyclictest3400735-21sed08:45:020
3395777996111,20cyclictest0-21swapper/012:15:270
3395777996019,11cyclictest3406723-21munin-run09:20:010
3395777996011,16cyclictest3428708-21ssh10:05:430
339579199598,6cyclictest131rcu_preempt09:45:013
339578699596,10cyclictest30-21ksoftirqd/210:46:502
3395777995921,12cyclictest0-21swapper/010:49:070
3395786995812,5cyclictest131rcu_preempt11:20:452
3395786995812,5cyclictest131rcu_preempt10:27:482
3395786995812,5cyclictest131rcu_preempt10:07:542
3395777995821,33cyclictest3468175-21ssh11:28:470
3395782995738,15cyclictest3467602-21systemd-journal09:25:031
3395777995720,32cyclictest3402742-21ssh09:11:220
3395786995617,6cyclictest131rcu_preempt11:55:112
3395786995614,5cyclictest131rcu_preempt11:37:592
3395777995642,11cyclictest3401679-21sshd09:03:030
3395777995637,14cyclictest364-21snmpd10:32:380
3395777995620,31cyclictest0-21swapper/009:00:010
339578699559,8cyclictest30-21ksoftirqd/209:23:522
3395786995514,6cyclictest131rcu_preempt11:48:512
3395786995514,5cyclictest131rcu_preempt12:30:192
3395786995514,5cyclictest131rcu_preempt10:22:032
3395786995514,5cyclictest131rcu_preempt10:22:022
3395786995514,5cyclictest131rcu_preempt10:17:342
3395786995513,5cyclictest131rcu_preempt09:10:142
3395786995511,5cyclictest131rcu_preempt09:35:042
3395777995518,33cyclictest0-21swapper/007:55:020
339579199548,5cyclictest131rcu_preempt09:35:023
339578699547,13cyclictest30-21ksoftirqd/210:00:022
339578699547,13cyclictest30-21ksoftirqd/210:00:012
3395786995418,5cyclictest131rcu_preempt11:42:552
3395786995414,7cyclictest131rcu_preempt12:24:562
3395786995414,6cyclictest131rcu_preempt12:37:572
3395786995412,6cyclictest131rcu_preempt12:18:212
3395782995435,14cyclictest3467602-21systemd-journal07:30:001
3395777995413,13cyclictest3465269-21ssh11:22:310
3395791995312,6cyclictest131rcu_preempt10:05:003
3395791995312,6cyclictest131rcu_preempt10:04:593
339578699537,7cyclictest30-21ksoftirqd/211:20:002
3395786995313,7cyclictest131rcu_preempt12:26:322
3395777995338,12cyclictest3396210-21sshd07:18:030
3395777995338,12cyclictest3396210-21sshd07:18:030
3395777995338,11cyclictest3399392-21munin-run08:20:010
3395777995329,19cyclictest3398562-21sshd08:03:030
339579199528,6cyclictest131rcu_preempt10:40:013
339579199528,6cyclictest131rcu_preempt08:05:003
3395791995220,10cyclictest37-21ksoftirqd/310:43:363
3395791995212,6cyclictest131rcu_preempt10:50:023
339578699526,12cyclictest30-21ksoftirqd/207:15:012
3395786995244,5cyclictest3468680-21kworker/2:012:14:412
3395786995218,5cyclictest131rcu_preempt09:50:242
3395786995215,6cyclictest131rcu_preempt10:12:402
3395786995215,6cyclictest131rcu_preempt10:03:542
3395786995215,6cyclictest131rcu_preempt10:03:542
3395786995215,6cyclictest131rcu_preempt09:30:462
3395786995214,5cyclictest131rcu_preempt09:41:002
3395786995211,5cyclictest131rcu_preempt10:54:382
3395786995210,5cyclictest131rcu_preempt11:10:352
3395777995239,10cyclictest3399103-21munin-run08:15:000
3395777995233,15cyclictest364-21snmpd07:44:460
339579199511,9cyclictest37-21ksoftirqd/309:05:013
3395791995114,10cyclictest37-21ksoftirqd/312:25:003
3395791995113,6cyclictest131rcu_preempt09:55:033
339579199511,22cyclictest0-21swapper/311:01:303
3395786995143,5cyclictest3423439-21kworker/2:211:04:562
3395786995143,5cyclictest3414112-21kworker/2:010:30:302
3395786995143,5cyclictest3388734-21kworker/2:108:34:302
3395786995142,6cyclictest3398849-21kworker/2:009:09:002
339578699513,9cyclictest30-21ksoftirqd/211:51:042
339578699512,11cyclictest30-21ksoftirqd/211:25:192
3395786995118,5cyclictest131rcu_preempt09:26:402
3395786995115,5cyclictest131rcu_preempt11:06:502
3395777995141,5cyclictest3399883-21munin-run08:30:010
3395777995137,10cyclictest3397032-21munin-run07:35:010
3395777995134,14cyclictest3468525-21sendmail-mta08:30:150
339579199508,6cyclictest131rcu_preempt09:36:513
3395791995010,6cyclictest131rcu_preempt10:00:033
3395791995010,6cyclictest131rcu_preempt10:00:023
339578699508,10cyclictest30-21ksoftirqd/211:31:542
339578699507,8cyclictest30-21ksoftirqd/212:00:202
3395786995041,6cyclictest3398849-21kworker/2:008:39:202
3395786995040,5cyclictest3388734-21kworker/2:107:53:502
3395786995015,6cyclictest131rcu_preempt12:08:292
3395782995035,10cyclictest275-21dbus-daemon08:10:021
3395782995035,10cyclictest275-21dbus-daemon08:10:011
3395777995032,14cyclictest275-21dbus-daemon07:25:010
3395777995029,17cyclictest3398311-21latency_hist08:00:000
339579199499,6cyclictest131rcu_preempt12:20:023
339579199498,4cyclictest131rcu_preempt11:55:093
339579199497,5cyclictest131rcu_preempt10:15:023
3395791994932,13cyclictest3467602-21systemd-journal07:15:003
339579199492,8cyclictest37-21ksoftirqd/310:57:563
339579199492,6cyclictest37-21ksoftirqd/308:25:013
339579199491,8cyclictest37-21ksoftirqd/310:09:593
339579199491,17cyclictest0-21swapper/309:23:203
339579199491,13cyclictest37-21ksoftirqd/307:35:003
3395786994942,4cyclictest3388734-21kworker/2:108:50:322
3395786994941,5cyclictest3423439-21kworker/2:210:42:162
3395786994941,5cyclictest3414112-21kworker/2:009:46:152
3395786994941,5cyclictest3395766-21kworker/2:207:30:312
3395786994941,5cyclictest3395766-21kworker/2:207:27:362
3395786994941,5cyclictest3388734-21kworker/2:108:42:352
3395786994941,5cyclictest3388734-21kworker/2:108:25:072
3395786994941,5cyclictest3388734-21kworker/2:108:13:352
3395786994941,5cyclictest3388734-21kworker/2:107:55:392
3395786994940,5cyclictest3388734-21kworker/2:108:07:032
3395786994940,5cyclictest3388734-21kworker/2:108:07:032
3395786994931,13cyclictest1-21systemd09:05:012
3395777994927,17cyclictest3399632-21grep08:25:000
339579199484,8cyclictest37-21ksoftirqd/310:26:353
3395791994837,9cyclictest37-21ksoftirqd/311:39:353
3395791994836,9cyclictest37-21ksoftirqd/307:45:033
3395791994836,8cyclictest37-21ksoftirqd/308:35:013
339579199481,4cyclictest131rcu_preempt12:28:183
3395791994810,5cyclictest131rcu_preempt08:55:493
3395786994840,5cyclictest3398849-21kworker/2:008:22:522
3395786994840,5cyclictest3395766-21kworker/2:207:15:342
3395786994840,5cyclictest3395766-21kworker/2:207:15:342
3395786994839,6cyclictest3395766-21kworker/2:207:46:062
3395786994839,6cyclictest3388734-21kworker/2:108:55:072
3395786994839,5cyclictest3395766-21kworker/2:207:44:362
3395782994830,12cyclictest309-21in:imuxsock11:30:001
3395777994834,10cyclictest364-21snmpd08:37:000
339579199477,5cyclictest131rcu_preempt11:05:183
3395791994734,10cyclictest37-21ksoftirqd/312:10:023
3395791994731,11cyclictest275-21dbus-daemon08:45:003
339579199472,8cyclictest37-21ksoftirqd/310:20:013
3395791994720,6cyclictest361rcuc/311:23:513
339579199471,7cyclictest0-21swapper/310:32:313
3395791994717,24cyclictest361rcuc/308:40:003
3395786994739,5cyclictest3395766-21kworker/2:207:20:572
3395786994739,5cyclictest3388734-21kworker/2:108:47:002
3395786994739,5cyclictest3388734-21kworker/2:108:16:002
3395786994739,5cyclictest3388734-21kworker/2:108:04:042
3395786994739,5cyclictest3388734-21kworker/2:107:35:082
3395782994738,6cyclictest3459279-21ssh11:10:031
3395782994730,13cyclictest1-21systemd12:20:021
3395791994621,16cyclictest37-21ksoftirqd/309:45:103
3395791994619,9cyclictest37-21ksoftirqd/309:26:523
339579199461,5cyclictest131rcu_preempt12:37:453
3395791994615,6cyclictest131rcu_preempt11:55:013
339579199461,25cyclictest0-21swapper/311:25:273
339579199461,16cyclictest0-21swapper/310:51:363
339578699467,9cyclictest30-21ksoftirqd/207:10:012
3395782994634,10cyclictest23-21ksoftirqd/108:30:001
3395782994631,10cyclictest275-21dbus-daemon11:45:001
3395782994631,10cyclictest23-21ksoftirqd/110:20:021
3395782994630,11cyclictest3416433-21sed09:40:021
3395782994625,15cyclictest275-21dbus-daemon08:05:001
3395777994632,10cyclictest364-21snmpd07:28:370
3395777994623,18cyclictest3395806-21cut07:10:010
339579199459,10cyclictest37-21ksoftirqd/311:45:253
3395791994535,7cyclictest37-21ksoftirqd/312:13:433
3395791994528,12cyclictest275-21dbus-daemon09:15:023
3395791994523,12cyclictest37-21ksoftirqd/309:09:353
339579199451,7cyclictest37-21ksoftirqd/312:31:113
3395791994515,11cyclictest37-21ksoftirqd/311:43:503
3395791994511,7cyclictest37-21ksoftirqd/310:20:373
3395791994511,7cyclictest37-21ksoftirqd/310:20:363
339579199451,16cyclictest0-21swapper/311:17:383
339578299454,3cyclictest131rcu_preempt12:39:401
3395782994532,9cyclictest309-21in:imuxsock07:40:001
339578299453,18cyclictest3420269-21kworker/u8:209:55:021
3395782994531,11cyclictest23-21ksoftirqd/110:13:541
3395782994529,11cyclictest275-21dbus-daemon09:00:001
3395782994528,13cyclictest275-21dbus-daemon07:35:011
3395782994527,13cyclictest1-21systemd11:50:011
339578299452,38cyclictest3464255-21sed11:20:041
3395782994516,13cyclictest0-21swapper/112:10:021
3395791994429,12cyclictest37-21ksoftirqd/307:40:003
339579199442,5cyclictest131rcu_preempt11:34:283
339578299448,19cyclictest0-21swapper/111:10:021
3395782994429,11cyclictest3467602-21systemd-journal11:55:001
3395782994427,12cyclictest0-21swapper/110:40:031
3395782994425,15cyclictest1-21systemd07:20:021
3395782994425,15cyclictest1-21systemd07:20:011
339579199435,10cyclictest37-21ksoftirqd/307:17:043
339579199435,10cyclictest37-21ksoftirqd/307:17:033
3395791994327,13cyclictest1-21systemd07:30:013
3395791994318,9cyclictest37-21ksoftirqd/312:03:593
3395782994330,8cyclictest309-21in:imuxsock11:05:001
3395782994330,10cyclictest23-21ksoftirqd/112:30:001
3395782994329,11cyclictest23-21ksoftirqd/111:37:291
3395782994328,11cyclictest23-21ksoftirqd/110:21:361
3395782994328,11cyclictest23-21ksoftirqd/110:21:361
3395782994326,14cyclictest3482578-21sshd11:59:031
3395782994326,13cyclictest3467602-21systemd-journal10:50:001
3395782994324,15cyclictest311-21rs:main1
3395782994324,15cyclictest311-21rs:main1
3395791994217,16cyclictest37-21ksoftirqd/307:58:453
3395791994216,7cyclictest37-21ksoftirqd/308:55:003
3395782994234,6cyclictest23-21ksoftirqd/108:55:011
3395782994228,10cyclictest3467602-21systemd-journal09:17:031
3395782994225,11cyclictest309-21in:imuxsock09:50:001
339578299421,6cyclictest131rcu_preempt12:25:021
339578299421,3cyclictest131rcu_preempt10:33:511
339579199415,5cyclictest37-21ksoftirqd/308:20:013
3395791994119,14cyclictest37-21ksoftirqd/311:10:083
339579199411,4cyclictest131rcu_preempt07:23:033
3395782994128,9cyclictest23-21ksoftirqd/111:34:161
3395782994127,11cyclictest23-21ksoftirqd/109:34:281
3395782994117,8cyclictest23-21ksoftirqd/109:22:101
339579199404,6cyclictest131rcu_preempt07:10:013
3395791994026,11cyclictest37-21ksoftirqd/308:10:033
3395791994026,11cyclictest37-21ksoftirqd/308:10:023
339579199401,30cyclictest0-21swapper/308:11:353
3395782994031,7cyclictest23-21ksoftirqd/110:02:201
3395782994031,7cyclictest23-21ksoftirqd/110:02:191
3395782994029,7cyclictest3399338-21cron08:20:001
3395782994027,9cyclictest309-21in:imuxsock08:30:031
3395782994026,11cyclictest23-21ksoftirqd/112:33:161
3395782994021,14cyclictest1-21systemd11:00:011
3395791993912,5cyclictest131rcu_preempt08:50:013
339578299398,6cyclictest131rcu_preempt12:01:361
3395782993928,9cyclictest23-21ksoftirqd/111:23:571
3395782993928,9cyclictest23-21ksoftirqd/110:26:131
3395782993927,9cyclictest23-21ksoftirqd/110:40:121
3395782993926,9cyclictest23-21ksoftirqd/110:54:251
3395791993823,11cyclictest37-21ksoftirqd/307:55:013
3395782993828,8cyclictest23-21ksoftirqd/112:08:101
3395782993826,9cyclictest3397578-21sed07:45:021
3395782993823,10cyclictest23-21ksoftirqd/107:24:591
339579199376,5cyclictest131rcu_preempt07:50:013
339579199375,6cyclictest131rcu_preempt08:30:013
339578299375,3cyclictest131rcu_preempt09:10:011
3395782993728,7cyclictest23-21ksoftirqd/108:25:011
3395782993725,9cyclictest23-21ksoftirqd/109:40:181
3395782993725,8cyclictest23-21ksoftirqd/107:50:001
3395782993725,10cyclictest23-21ksoftirqd/108:00:021
3395782993724,10cyclictest23-21ksoftirqd/107:15:001
3395782993626,8cyclictest23-21ksoftirqd/110:06:401
3395782993623,10cyclictest23-21ksoftirqd/109:10:391
3395782993623,10cyclictest23-21ksoftirqd/108:40:011
339578299358,5cyclictest131rcu_preempt07:53:551
3395782993521,11cyclictest3467602-21systemd-journal09:03:321
339578299342,5cyclictest131rcu_preempt08:14:591
3395782993323,8cyclictest23-21ksoftirqd/108:50:021
3395782993221,9cyclictest23-21ksoftirqd/107:10:021
3395782993124,4cyclictest3467562-21sshd08:42:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional