You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-13 - 17:32

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Thu Nov 13, 2025 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
20565991165,61cyclictest0-21swapper/011:40:150
20565991066,72cyclictest0-21swapper/010:05:080
190972880,6sleep1221ktimersoftd/110:24:591
2056599841,64cyclictest21137-21grep09:40:300
7142820,2sleep20-21swapper/212:14:382
2056599826,22cyclictest0-21swapper/007:15:160
2056599811,63cyclictest15551-21latency_hist10:20:010
20565997924,36cyclictest18765-21systemd-cgroups11:09:180
2056599792,40cyclictest0-21swapper/007:25:130
2056599792,40cyclictest0-21swapper/007:25:130
2056599752,64cyclictest0-21swapper/009:18:400
2056599751,15cyclictest0-21swapper/008:20:180
2056599741,62cyclictest0-21swapper/008:15:280
2056599740,14cyclictest0-21swapper/012:37:340
17762740,2sleep20-21swapper/210:00:122
17762740,2sleep20-21swapper/210:00:122
2056799733,30cyclictest31748-21rm09:10:122
2056599731,58cyclictest0-21swapper/011:03:300
2056599702,46cyclictest0-21swapper/009:20:310
2056599702,46cyclictest0-21swapper/009:20:310
2056599701,29cyclictest0-21swapper/007:50:140
2056599701,29cyclictest0-21swapper/007:50:140
2056599701,11cyclictest0-21swapper/011:12:270
2056599699,14cyclictest0-21swapper/010:43:230
2056599692,19cyclictest0-21swapper/011:34:180
2056599692,17cyclictest0-21swapper/010:20:230
48432670,2sleep20-21swapper/209:17:132
2056599673,9cyclictest8399-21ssh10:55:170
2056599673,13cyclictest0-21swapper/009:27:430
20565996714,2cyclictest0-21swapper/011:49:180
20565996710,10cyclictest0-21swapper/009:49:190
20568996615,10cyclictest7950irq/56-dwc_otg_10:55:163
2056599664,28cyclictest0-21swapper/010:25:140
2056599663,13cyclictest0-21swapper/012:15:540
2056599661,52cyclictest27801-21cron09:00:010
2056599661,19cyclictest10027-21aten_rbpower_cu08:10:150
191422666,10sleep30-21swapper/307:05:233
20565996515,4cyclictest7750irq/56-dwc_otg09:35:150
20565996512,45cyclictest0-21swapper/009:05:300
2056599648,13cyclictest0-21swapper/007:13:520
2056599647,15cyclictest7566-21sh11:38:020
2056599645,10cyclictest0-21swapper/011:57:490
2056599645,10cyclictest0-21swapper/011:57:490
20565996416,4cyclictest7850irq/56-dwc_otg_10:14:150
20565996416,4cyclictest7850irq/56-dwc_otg_10:14:150
20565996411,9cyclictest779-21rm11:29:260
2056799633,10cyclictest7850irq/56-dwc_otg_10:20:162
2056599632,18cyclictest0-21swapper/010:02:550
2056599632,18cyclictest0-21swapper/010:02:550
2056599632,14cyclictest0-21swapper/009:12:560
20565996320,34cyclictest0-21swapper/007:41:330
20565996318,33cyclictest28149-21ssh11:20:500
2056599631,5cyclictest9916-21ssh12:25:330
2056599631,5cyclictest9916-21ssh12:25:330
20565996311,8cyclictest29556-21ssh12:09:160
2056599631,13cyclictest0-21swapper/008:30:280
2056899629,9cyclictest7950irq/56-dwc_otg_11:40:133
2056599623,16cyclictest0-21swapper/012:12:260
2056599622,19cyclictest0-21swapper/010:37:390
2056599621,13cyclictest23364-21fschecks_time10:30:210
2056599621,13cyclictest23364-21fschecks_time10:30:210
2056599617,10cyclictest0-21swapper/010:51:400
20565996118,3cyclictest0-21swapper/008:02:090
2056599604,14cyclictest1120-21runrttasks07:45:130
2056599602,7cyclictest7750irq/56-dwc_otg08:10:010
2056599602,31cyclictest14050-21grep09:30:310
2056599602,21cyclictest0-21swapper/009:54:330
20565996012,9cyclictest0-21swapper/009:57:210
2056599601,12cyclictest0-21swapper/011:15:250
20565996011,11cyclictest0-21swapper/012:00:480
200122603,12sleep10-21swapper/107:06:261
2056599598,5cyclictest5723-21grep12:20:240
2056599592,14cyclictest0-21swapper/012:34:320
2056599591,28cyclictest24464-21fschecks_count07:20:200
2056599591,11cyclictest0-21swapper/010:49:310
2056699589,6cyclictest7950irq/56-dwc_otg_12:05:141
2056599582,18cyclictest0-21swapper/007:57:160
20565995717,10cyclictest0-21swapper/008:40:150
20565995717,10cyclictest0-21swapper/008:40:150
2056599571,52cyclictest0-21swapper/008:35:170
2056599571,15cyclictest0-21swapper/011:51:140
2056599552,21cyclictest0-21swapper/009:00:020
2056599551,20cyclictest0-21swapper/007:30:070
172102550,2sleep10-21swapper/109:35:281
230312540,2sleep20-21swapper/212:00:132
2056899546,21cyclictest0-21swapper/310:05:083
2056799545,5cyclictest0-21swapper/211:30:132
2056599541,14cyclictest0-21swapper/008:54:440
2056599531,3cyclictest0-21swapper/007:39:170
2056799523,5cyclictest16311-21ssh12:35:142
2056599526,4cyclictest7750irq/56-dwc_otg08:25:380
2056699514,5cyclictest0-21swapper/107:45:141
2056699511,9cyclictest7750irq/56-dwc_otg08:00:131
2056799503,11cyclictest23104-21kworker/u8:012:05:142
2056699507,27cyclictest31769-21ssh09:10:151
2056599508,11cyclictest0-21swapper/008:49:100
200942493,39sleep00-21swapper/007:07:300
2056699475,7cyclictest7750irq/56-dwc_otg09:05:161
2056899467,4cyclictest0-21swapper/312:05:243
2056899466,26cyclictest0-21swapper/310:35:163
2056899465,26cyclictest1460-21ssh11:30:073
2056799467,26cyclictest0-21swapper/210:15:192
2056699463,7cyclictest7750irq/56-dwc_otg09:55:151
2056699462,23cyclictest0-21swapper/110:15:271
20568994523,9cyclictest7950irq/56-dwc_otg_09:57:173
20568994521,9cyclictest7950irq/56-dwc_otg_12:12:013
20568994514,11cyclictest7950irq/56-dwc_otg_11:15:013
2056799457,24cyclictest0-21swapper/208:55:152
2056799457,23cyclictest0-21swapper/208:45:172
2056699458,26cyclictest0-21swapper/107:40:071
2056699457,28cyclictest26772-21rm11:20:161
2056699454,23cyclictest8784-21ssh10:10:131
2056699454,23cyclictest8784-21ssh10:10:131
2056899447,12cyclictest20690-21/usr/sbin/munin09:40:263
2056899442,8cyclictest0-21swapper/311:25:183
20568994416,12cyclictest7950irq/56-dwc_otg_11:35:283
2056699447,25cyclictest0-21swapper/112:25:171
2056699447,25cyclictest0-21swapper/112:25:171
2056699446,23cyclictest0-21swapper/108:20:151
224682430,5sleep12056699cyclictest11:59:311
224682430,5sleep12056699cyclictest11:59:311
2056899437,22cyclictest0-21swapper/312:30:083
2056899437,22cyclictest0-21swapper/309:45:163
2056899435,25cyclictest7950irq/56-dwc_otg_10:34:433
2056899435,25cyclictest7950irq/56-dwc_otg_10:34:433
20568994322,9cyclictest7950irq/56-dwc_otg_10:42:563
20568994312,11cyclictest7950irq/56-dwc_otg_11:58:163
20568994312,11cyclictest7950irq/56-dwc_otg_11:58:163
2056799437,23cyclictest0-21swapper/208:40:172
2056799437,23cyclictest0-21swapper/208:40:172
20567994311,19cyclictest7850irq/56-dwc_otg_12:30:072
2056899429,14cyclictest7950irq/56-dwc_otg_11:15:223
2056899427,22cyclictest0-21swapper/307:20:163
20568994214,15cyclictest7950irq/56-dwc_otg_08:20:193
20568994210,12cyclictest9999-21apt-get08:10:133
2056899420,17cyclictest4027-21rm10:02:533
2056899420,17cyclictest4027-21rm10:02:533
2056799427,23cyclictest0-21swapper/211:25:182
2056799424,25cyclictest0-21swapper/207:30:072
20567994222,5cyclictest886050wget10:10:162
20567994222,5cyclictest886050wget10:10:162
2056799421,27cyclictest27186-21ssh09:50:152
20566994221,17cyclictest21-21rcuc/108:05:141
2056899412,3cyclictest0-21swapper/309:30:153
20568994116,4cyclictest28319-21unixbench_multi09:50:303
20568994114,10cyclictest7950irq/56-dwc_otg_12:26:093
20568994114,10cyclictest7950irq/56-dwc_otg_12:26:093
2056899411,25cyclictest15534-21cron10:20:013
2056799413,9cyclictest7850irq/56-dwc_otg_09:45:132
2056799411,10cyclictest7850irq/56-dwc_otg_09:30:322
20566994115,3cyclictest0-21swapper/110:30:021
20568994018,4cyclictest9260-21if_wlan010:10:223
20568994018,4cyclictest9260-21if_wlan010:10:223
2056899401,24cyclictest0-21swapper/307:55:143
20568994011,6cyclictest13364-21head11:00:333
2056799403,14cyclictest15971-21ssh11:50:132
2056799403,13cyclictest0-21swapper/209:40:132
20566994015,7cyclictest2833-21aten_rbpower_en07:50:161
20566994015,7cyclictest2833-21aten_rbpower_en07:50:161
20566994014,4cyclictest1866-21fschecks_time11:30:201
34212390,2sleep30-21swapper/307:50:243
34212390,2sleep30-21swapper/307:50:243
2056899394,9cyclictest0-21swapper/309:35:153
20568993912,11cyclictest7950irq/56-dwc_otg_08:25:313
2056799397,23cyclictest0-21swapper/208:15:152
20567993917,6cyclictest17694-21unixbench_singl09:35:332
2056699396,4cyclictest7950irq/56-dwc_otg_09:15:141
2056699392,6cyclictest23-21ksoftirqd/111:15:121
20566993923,4cyclictest26766-21sh10:35:191
2056699391,3cyclictest0-21swapper/112:15:131
20568993816,6cyclictest381ktimersoftd/308:15:243
20568993813,11cyclictest7950irq/56-dwc_otg_10:52:093
20568993811,12cyclictest7950irq/56-dwc_otg_11:52:153
20568993811,11cyclictest7950irq/56-dwc_otg_09:10:303
20568993810,12cyclictest7950irq/56-dwc_otg_09:05:253
2056899380,14cyclictest8095-21latency_hist08:05:023
2056799387,24cyclictest0-21swapper/211:20:072
2056799387,22cyclictest0-21swapper/211:00:162
2056799385,15cyclictest7850irq/56-dwc_otg_08:50:232
2056799382,20cyclictest30137-21fschecks_count09:05:202
20567993817,5cyclictest126750wget12:15:162
2056699389,13cyclictest7950irq/56-dwc_otg_09:40:301
2056699387,23cyclictest0-21swapper/109:20:161
2056699387,23cyclictest0-21swapper/109:20:161
2056699387,22cyclictest0-21swapper/107:55:141
20566993816,7cyclictest13135-21sh12:30:241
20566993815,21cyclictest0-21swapper/109:00:161
2056699381,3cyclictest7750irq/56-dwc_otg07:30:111
21002371,3sleep10-21swapper/110:00:211
21002371,3sleep10-21swapper/110:00:211
2056899377,16cyclictest0-21swapper/309:00:163
2056899376,12cyclictest7935-21ssh09:21:383
2056899376,12cyclictest7935-21ssh09:21:383
2056899375,20cyclictest9600-21ssh09:25:173
20568993725,4cyclictest7950irq/56-dwc_otg_12:17:583
20568993723,8cyclictest7950irq/56-dwc_otg_12:39:203
20568993719,9cyclictest15849-21/usr/sbin/munin10:20:243
20568993714,9cyclictest7950irq/56-dwc_otg_07:44:203
2056899371,3cyclictest7850irq/56-dwc_otg_08:35:173
2056799377,7cyclictest0-21swapper/209:25:212
2056699377,5cyclictest7750irq/56-dwc_otg09:25:281
2056699377,17cyclictest0-21swapper/111:00:221
20566993728,6cyclictest221ktimersoftd/112:10:151
20566993715,5cyclictest8218-21latency_hist10:55:021
20566993711,5cyclictest5755-21wc11:35:231
2056899364,7cyclictest0-21swapper/311:23:373
20568993621,6cyclictest7850irq/56-dwc_otg_12:23:203
20568993615,7cyclictest7950irq/56-dwc_otg_11:49:223
20568993614,5cyclictest381ktimersoftd/309:18:573
20568993611,16cyclictest7950irq/56-dwc_otg_10:25:413
2056799364,17cyclictest7950irq/56-dwc_otg_07:20:022
2056799361,24cyclictest1237-21cut07:45:192
2056699367,22cyclictest11-21rcu_preempt07:35:161
2056699366,5cyclictest0-21swapper/111:10:381
2056699362,24cyclictest12729-21ls08:15:291
2056699361,23cyclictest1403-21ls10:45:181
2056899358,6cyclictest7750irq/56-dwc_otg10:45:163
2056899354,11cyclictest24423-21rm12:00:443
2056799358,12cyclictest7950irq/56-dwc_otg_07:25:022
2056799357,15cyclictest0-21swapper/207:40:062
2056799351,25cyclictest9411-21ls11:40:232
2056799351,25cyclictest20026-21ssh11:55:252
2056799351,25cyclictest20026-21ssh11:55:252
2056699357,13cyclictest7950irq/56-dwc_otg_09:00:011
2056699356,26cyclictest0-21swapper/108:10:151
2056699353,4cyclictest7950irq/56-dwc_otg_08:45:151
2056899341,22cyclictest28238-21cut07:30:183
2056899341,18cyclictest24111-21ls07:20:023
2056799347,13cyclictest7950irq/56-dwc_otg_07:30:022
2056799347,13cyclictest7950irq/56-dwc_otg_07:30:022
2056799345,15cyclictest7950irq/56-dwc_otg_10:25:272
2056799342,9cyclictest28733-21ntp_kernel_pll_09:00:252
2056799342,7cyclictest7850irq/56-dwc_otg_09:55:192
2056799342,20cyclictest0-21swapper/211:16:392
2056799341,14cyclictest7850irq/56-dwc_otg_09:20:302
2056799341,14cyclictest7850irq/56-dwc_otg_09:20:302
2056699344,6cyclictest7750irq/56-dwc_otg10:42:531
2056699344,5cyclictest7750irq/56-dwc_otg08:45:021
2056699344,5cyclictest7750irq/56-dwc_otg08:45:021
20566993428,5cyclictest23-21ksoftirqd/107:25:281
20566993428,5cyclictest23-21ksoftirqd/107:25:281
20566993425,5cyclictest221ktimersoftd/109:30:131
20566993420,4cyclictest23-21ksoftirqd/108:25:221
20566993416,4cyclictest21-21rcuc/110:05:261
20566993412,4cyclictest0-21swapper/109:46:241
2056699341,22cyclictest18113-21ls08:30:291
2056899336,11cyclictest7950irq/56-dwc_otg_09:00:023
20567993324,6cyclictest29822-21latency_hist10:40:012
2056799332,15cyclictest7950irq/56-dwc_otg_10:50:172
2056799331,23cyclictest4505-21latency_hist10:50:022
20567993311,4cyclictest20913-21fschecks_time07:10:212
2056699339,4cyclictest0-21swapper/111:05:161
2056699337,15cyclictest0-21swapper/111:50:151
20566993316,8cyclictest0-21swapper/111:40:151
2056699331,5cyclictest27907-21ntp_states09:50:261
2056699331,22cyclictest30648-21idleruntime11:25:241
20566993311,15cyclictest7950irq/56-dwc_otg_12:20:271
2056899321,5cyclictest1280-21fschecks_time07:45:193
20568993214,9cyclictest7950irq/56-dwc_otg_11:06:213
20568993211,10cyclictest21833-21chrt07:11:083
2056799326,6cyclictest7850irq/56-dwc_otg_10:05:212
2056799325,16cyclictest7950irq/56-dwc_otg_11:07:452
2056799323,17cyclictest15290-21latency_hist08:25:022
2056799323,14cyclictest7950irq/56-dwc_otg_11:45:212
2056799322,17cyclictest0-21swapper/207:59:132
20567993216,4cyclictest1120-21runrttasks11:35:172
20567993215,4cyclictest8508-21aten_rbpower_vo10:55:182
2056799321,3cyclictest0-21swapper/208:05:122
2056799321,19cyclictest2779-21/usr/sbin/munin07:50:252
2056799321,19cyclictest2779-21/usr/sbin/munin07:50:252
2056799321,19cyclictest10283-21cut08:10:202
2056699326,16cyclictest0-21swapper/107:10:181
2056699322,7cyclictest25593-21unixbench_singl08:50:291
2056899311,3cyclictest0-21swapper/308:45:323
2056799319,4cyclictest7850irq/56-dwc_otg_12:25:102
2056799319,4cyclictest7850irq/56-dwc_otg_12:25:102
2056799317,14cyclictest0-21swapper/210:40:152
2056799317,10cyclictest7950irq/56-dwc_otg_08:30:282
2056799312,6cyclictest22888-21ssh11:15:022
2056799312,19cyclictest0-21swapper/207:37:382
20567993110,4cyclictest31427-21diskmemload12:24:282
2056699315,19cyclictest8400-21ssh10:55:171
2056699314,19cyclictest7950irq/56-dwc_otg_12:00:161
2056699311,20cyclictest13462-21timerandwakeup11:45:301
2056899307,5cyclictest7950irq/56-dwc_otg_07:25:253
2056899307,5cyclictest7950irq/56-dwc_otg_07:25:253
2056899301,4cyclictest0-21swapper/307:35:203
2056899301,19cyclictest0-21swapper/308:31:113
2056699306,15cyclictest0-21swapper/107:20:161
2056699302,13cyclictest7850irq/56-dwc_otg_08:35:171
2056699301,6cyclictest17109-21sh12:35:271
20566993013,4cyclictest1120-21runrttasks10:31:511
20566993013,4cyclictest1120-21runrttasks10:31:511
2056899293,5cyclictest8182-21munin-node08:05:123
20568992922,5cyclictest22406-21latency_hist08:45:023
20568992922,5cyclictest22406-21latency_hist08:45:023
2056799296,14cyclictest0-21swapper/208:00:152
2056799293,5cyclictest7950irq/56-dwc_otg_08:35:242
20567992910,4cyclictest0-21swapper/210:34:322
20567992910,4cyclictest0-21swapper/210:34:322
2056899286,9cyclictest7950irq/56-dwc_otg_08:50:263
2056699281,5cyclictest7850irq/56-dwc_otg_07:20:021
2056799274,5cyclictest7950irq/56-dwc_otg_08:25:172
200912273,15sleep20-21swapper/207:07:282
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional