You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-21 - 03:53

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Sun Dec 21, 2025 00:45:18)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1428399694,42cyclictest29076-21ssh00:30:122
14291996548,12cyclictest28366irq/58-eth022:55:143
14291996548,12cyclictest28366irq/58-eth022:55:143
14283996143,10cyclictest6219-21sh23:40:122
1426799594,39cyclictest15124-21ssh22:50:140
1426799594,39cyclictest15124-21ssh22:50:140
1426899541,4cyclictest0-21swapper/120:45:131
1429199524,30cyclictest28366irq/58-eth022:40:143
14283995242,6cyclictest9379-21ssh23:05:142
1428399461,26cyclictest21082-21ssh22:35:142
1426899463,3cyclictest26868-21apt-get23:15:121
1426899461,4cyclictest20259-21apt-get00:25:161
1429199453,25cyclictest28366irq/58-eth022:10:143
1426799454,33cyclictest6241-21ssh21:50:130
1426799452,30cyclictest2719-21ssh00:15:120
14267994514,24cyclictest12-21ksoftirqd/023:10:120
1426899441,2cyclictest15119-21apt-get21:55:141
1426899431,3cyclictest0-21swapper/120:00:151
1426899431,3cyclictest0-21swapper/120:00:151
1426899431,35cyclictest14954-21sh23:45:161
14267994319,18cyclictest29920-21diskmemload22:40:140
1426899422,30cyclictest29105-21ssh00:30:141
1426899422,11cyclictest29902-21ssh22:40:131
1426899421,4cyclictest0-21swapper/122:45:131
1426899421,3cyclictest0-21swapper/120:35:151
1429199417,23cyclictest28366irq/58-eth023:35:153
1428399416,7cyclictest131rcu_preempt23:15:142
1426899411,4cyclictest0-21swapper/119:15:141
1426899411,3cyclictest0-21swapper/120:05:131
1426799413,30cyclictest20263-21ssh00:25:150
1426899402,32cyclictest17683-21apt-get00:05:141
1426799407,23cyclictest9215-21ssh21:15:140
1426899392,4cyclictest131rcu_preempt22:20:121
1426899392,2cyclictest6097-21apt-get19:35:131
1426899392,2cyclictest6097-21apt-get19:35:131
14267993915,17cyclictest27031-21sh21:25:160
1426799391,32cyclictest32374-21ssh23:55:130
1426799391,29cyclictest6237-21ssh22:45:140
1429199382,21cyclictest28366irq/58-eth019:40:133
1426899381,3cyclictest23635-21ssh23:50:101
1429199377,21cyclictest0-21swapper/323:50:123
1426899372,2cyclictest27021-21apt-get21:25:171
1426899371,4cyclictest0-21swapper/121:45:121
1426899371,4cyclictest0-21swapper/121:00:141
1426899371,3cyclictest28977-21apt-get19:25:171
1426899371,3cyclictest0-21swapper/121:40:141
1429199363,18cyclictest28366irq/58-eth021:30:143
1426899362,2cyclictest11442-21apt-get00:20:131
1426899361,4cyclictest29862-21ssh23:35:151
1426899361,4cyclictest0-21swapper/121:35:141
1426899361,2cyclictest0-21swapper/120:40:121
1426899361,12cyclictest2681-21/usr/sbin/munin00:15:321
1426899360,5cyclictest14484-21apt-get19:10:131
14283993527,4cyclictest32758-21sh21:10:112
14283993511,18cyclictest630-21tcf-agent20:45:132
1426899351,9cyclictest6778-21sed23:40:181
1426899351,3cyclictest0-21swapper/120:20:141
1426899351,3cyclictest0-21swapper/119:50:141
1426899351,3cyclictest0-21swapper/119:20:121
1426899350,4cyclictest6231-21apt-get21:50:141
1426899350,4cyclictest12173-21apt-get23:25:121
1429199348,14cyclictest28366irq/58-eth021:35:123
1428399346,21cyclictest27-21ksoftirqd/223:54:162
1426899346,25cyclictest26556-21basename22:20:011
1426899346,25cyclictest26556-21basename22:20:011
1426899341,8cyclictest4836-21kthreadcore23:20:221
1426899341,4cyclictest21066-21apt-get22:35:141
1426899341,3cyclictest0-21swapper/122:10:131
14291993319,10cyclictest0-21swapper/321:40:133
1426899333,27cyclictest19484-21kthreadcore20:55:231
1426899331,9cyclictest9408-21fschecks_time21:15:171
1426899331,8cyclictest5645-21fschecks_time00:35:151
1426899331,8cyclictest14882-21cut20:50:191
1426899331,7cyclictest3336-21cut19:30:221
1426899331,7cyclictest26894-21irqcore00:10:181
1426899331,7cyclictest2145-21cut23:55:201
1426899331,7cyclictest11866-21kthreadcore00:00:231
1426899331,5cyclictest0-21swapper/120:10:151
1426899331,11cyclictest15389-21cut22:30:231
1429199322,17cyclictest28366irq/58-eth022:35:133
1428399324,18cyclictest22346irq/40-dwc2_hso20:50:122
1426899327,22cyclictest29867-21latency_hist20:00:011
1426899322,28cyclictest13284-21kthreadcore20:15:221
1426899322,28cyclictest13284-21kthreadcore20:15:221
1426899321,8cyclictest14699-21grep19:40:281
1426899321,7cyclictest15089-21/usr/sbin/munin22:50:271
1426899321,7cyclictest15089-21/usr/sbin/munin22:50:271
1426899321,4cyclictest9368-21apt-get23:05:151
1426899321,11cyclictest24073-21df22:55:161
1426899321,11cyclictest24073-21df22:55:161
1426799326,13cyclictest12-21ksoftirqd/023:00:150
1426799326,13cyclictest12-21ksoftirqd/023:00:150
14267993215,9cyclictest14266-21cyclictest21:35:130
1426799321,23cyclictest23655-21ssh23:50:120
1428399315,17cyclictest0-21swapper/219:55:142
1426899311,9cyclictest3793-21/usr/sbin/munin21:30:191
1426899311,9cyclictest32725-21/usr/sbin/munin21:10:141
1426899311,8cyclictest412-21/usr/sbin/munin22:05:201
1426899311,8cyclictest29682-21cut21:05:201
1426899311,7cyclictest566-21awk23:00:161
1426899311,7cyclictest566-21awk23:00:161
1426899311,7cyclictest19674-21tr21:20:211
1426899311,6cyclictest7433-21timerandwakeup22:25:301
1426899311,6cyclictest22247-21sed20:25:221
1426899311,6cyclictest20926-21ssh23:30:121
1426899311,4cyclictest18119-21ssh23:10:111
1426899310,7cyclictest31218-21latency_hist20:35:011
1429199302,12cyclictest28366irq/58-eth022:25:133
1426899301,7cyclictest24193-21fschecks_time22:00:151
1426899300,8cyclictest15785-21grep19:45:141
1426799304,14cyclictest12-21ksoftirqd/019:55:140
1426799302,20cyclictest6233-21ssh23:40:140
1426799302,20cyclictest17817-21diskstats00:05:170
14267993017,10cyclictest0-21swapper/021:45:110
1426799301,21cyclictest3413-21ssh21:30:140
1428399298,13cyclictest131rcu_preempt23:45:082
1428399294,18cyclictest22346irq/40-dwc2_hso20:55:162
1428399294,12cyclictest442-21ssh22:05:162
1428399292,22cyclictest261rcuc/222:20:122
1428399292,21cyclictest2729-21ssh00:15:132
1428399292,21cyclictest22346irq/40-dwc2_hso22:10:132
1428399292,20cyclictest0-21swapper/220:40:132
1428399292,15cyclictest22346irq/40-dwc2_hso19:10:142
1426799292,21cyclictest459-21ssh22:05:170
1429199288,8cyclictest28366irq/58-eth000:15:123
1428399285,9cyclictest27-21ksoftirqd/221:54:422
1428399283,17cyclictest22346irq/40-dwc2_hso21:15:152
1428399283,15cyclictest22346irq/40-dwc2_hso19:20:122
1428399282,21cyclictest31078-21ssh22:03:182
1428399282,11cyclictest25430-21ssh00:09:172
1426799281,20cyclictest3506-21ssh22:25:130
1429199275,13cyclictest28366irq/58-eth000:25:163
1429199273,16cyclictest0-21swapper/323:58:383
1429199273,16cyclictest0-21swapper/323:44:173
1429199272,18cyclictest28366irq/58-eth022:02:173
1429199271,11cyclictest0-21swapper/322:45:153
1428399273,15cyclictest22346irq/40-dwc2_hso21:25:152
1428399272,19cyclictest0-21swapper/219:15:152
1426799272,21cyclictest12-21ksoftirqd/023:05:150
1428399261,16cyclictest26824-21ls22:20:022
1428399261,16cyclictest26824-21ls22:20:022
14283992610,4cyclictest27-21ksoftirqd/223:35:202
1426799262,19cyclictest23987-21ssh22:55:150
1426799262,19cyclictest23987-21ssh22:55:150
1426799262,17cyclictest21030-21ssh21:40:130
1426799262,16cyclictest9282-21ssh22:10:140
1429199253,15cyclictest28366irq/58-eth023:10:133
1428399258,7cyclictest27-21ksoftirqd/222:33:482
1428399252,8cyclictest28092-21ssh00:29:162
14283992516,6cyclictest0-21swapper/200:00:162
1428399250,18cyclictest13813-21ls00:40:012
1426899250,7cyclictest14357-21ls19:10:011
1429199242,17cyclictest28366irq/58-eth023:30:133
1429199241,14cyclictest0-21swapper/321:15:143
1428399249,9cyclictest131rcu_preempt23:13:292
1428399247,5cyclictest27-21ksoftirqd/222:47:142
1428399247,11cyclictest27-21ksoftirqd/222:55:182
1428399247,11cyclictest27-21ksoftirqd/222:55:182
1428399246,7cyclictest27-21ksoftirqd/221:38:352
1428399243,10cyclictest27-21ksoftirqd/223:34:112
1428399241,8cyclictest12200-21ssh23:25:142
14283992412,9cyclictest818-21ssh00:13:062
1428399241,14cyclictest29921-21ssh22:40:142
1428399240,21cyclictest15536-21ls20:15:252
1428399240,21cyclictest15536-21ls20:15:252
1426799241,18cyclictest8802-21ssh00:00:140
14267992410,5cyclictest12191-21ssh23:25:130
14267992410,4cyclictest131rcu_preempt23:15:190
1429199237,10cyclictest28366irq/58-eth022:20:133
1429199236,13cyclictest28366irq/58-eth023:20:143
1429199232,18cyclictest28366irq/58-eth020:50:133
1429199232,13cyclictest28366irq/58-eth020:25:173
1429199231,19cyclictest28366irq/58-eth020:45:133
1428399238,9cyclictest131rcu_preempt21:49:262
1428399237,5cyclictest27-21ksoftirqd/221:41:512
1428399233,6cyclictest3390-21ssh23:20:152
1428399232,6cyclictest0-21swapper/223:55:162
1428399232,6cyclictest0-21swapper/221:24:172
1428399232,14cyclictest22346irq/40-dwc2_hso00:20:122
14283992313,8cyclictest0-21swapper/221:05:222
14283992313,4cyclictest0-21swapper/221:55:142
14283992312,9cyclictest9752-21ssh22:27:172
1426799236,8cyclictest131rcu_preempt23:45:340
1426799232,15cyclictest31876-21ssh22:04:170
1426799231,17cyclictest18132-21ssh21:20:140
1426799231,15cyclictest15887-21kthreadcore21:55:190
1429199223,10cyclictest28366irq/58-eth000:10:133
14291992210,7cyclictest28366irq/58-eth000:35:113
1428399222,7cyclictest27-21ksoftirqd/221:33:432
1428399221,9cyclictest3552-21run-parts20:40:012
14283992212,8cyclictest27-21ksoftirqd/223:05:012
14283992212,8cyclictest27-21ksoftirqd/223:05:012
1428399221,15cyclictest22346irq/40-dwc2_hso20:30:152
1428399220,7cyclictest1408-21cut19:30:172
1426799229,10cyclictest12-21ksoftirqd/022:35:150
1426799226,3cyclictest131rcu_preempt21:10:240
1426799225,9cyclictest0-21swapper/000:10:130
1426799223,10cyclictest14266-21cyclictest19:25:150
1429199214,14cyclictest0-21swapper/323:05:153
1428399217,8cyclictest27-21ksoftirqd/222:51:362
1428399217,8cyclictest27-21ksoftirqd/222:51:362
14283992112,7cyclictest0-21swapper/220:25:272
1428399211,10cyclictest5176-21kthreadcore20:05:212
1426799214,11cyclictest12-21ksoftirqd/020:20:150
1426799211,3cyclictest0-21swapper/023:35:180
1426799211,15cyclictest24554-21ntp_192.168.11423:30:250
1426799211,15cyclictest11457-21ssh00:20:130
1429199209,8cyclictest0-21swapper/322:53:563
1429199209,8cyclictest0-21swapper/322:53:563
1429199205,9cyclictest0-21swapper/300:30:143
1429199204,8cyclictest0-21swapper/323:15:123
1429199203,12cyclictest0-21swapper/322:08:193
1429199202,7cyclictest28366irq/58-eth021:10:113
14291992014,4cyclictest0-21swapper/323:45:213
1429199201,12cyclictest0-21swapper/319:20:163
1428399206,5cyclictest19807-21kthreadcore20:20:232
1428399205,12cyclictest22346irq/40-dwc2_hso21:00:132
1428399203,8cyclictest20621-21sshd19:50:162
1428399201,9cyclictest335-21kthreadcore20:00:232
1428399201,9cyclictest335-21kthreadcore20:00:232
1428399201,9cyclictest13179-21kthreadcore19:40:212
14283992011,7cyclictest0-21swapper/219:25:182
1428399201,14cyclictest22346irq/40-dwc2_hso19:45:142
1428399201,10cyclictest9938-21grep19:35:302
1428399201,10cyclictest9938-21grep19:35:302
1426799209,7cyclictest0-21swapper/022:20:120
1426799203,9cyclictest0-21swapper/019:40:130
1426799203,13cyclictest30434-21ps20:00:200
1426799203,13cyclictest30434-21ps20:00:200
1426799202,14cyclictest8550-21apt-get20:45:120
1426799201,17cyclictest18504-21rm22:15:180
1426799201,17cyclictest18504-21rm22:15:180
1429199198,6cyclictest0-21swapper/300:04:173
1429199193,9cyclictest0-21swapper/319:15:233
14291991913,4cyclictest0-21swapper/319:35:283
14291991913,4cyclictest0-21swapper/319:35:283
1429199191,12cyclictest0-21swapper/319:50:013
1429199191,11cyclictest0-21swapper/320:15:013
14291991910,6cyclictest0-21swapper/323:00:233
14291991910,6cyclictest0-21swapper/323:00:233
1428399191,15cyclictest14399-21latency_hist19:10:012
1428399191,14cyclictest7390-21fschecks_count20:10:182
1426799199,7cyclictest3538-21cron20:40:010
1426799195,5cyclictest131rcu_preempt22:30:230
1426799192,13cyclictest5438-21ssh00:35:130
14267991912,4cyclictest5226-21latency_hist00:35:020
1426799191,15cyclictest10411-21kthreadcore20:10:240
1426799191,14cyclictest23183-21cut21:00:160
1426799191,10cyclictest7183-21sed20:40:240
1429199189,6cyclictest0-21swapper/322:17:463
1429199189,6cyclictest0-21swapper/322:17:463
1429199189,6cyclictest0-21swapper/321:53:383
1429199189,5cyclictest0-21swapper/321:25:203
1429199188,6cyclictest28366irq/58-eth021:20:143
1429199183,10cyclictest0-21swapper/320:15:043
1429199183,10cyclictest0-21swapper/320:15:043
1429199182,12cyclictest0-21swapper/321:55:143
1429199182,11cyclictest0-21swapper/300:09:173
1429199182,10cyclictest0-21swapper/320:55:173
1429199182,10cyclictest0-21swapper/320:20:153
1429199182,10cyclictest0-21swapper/319:55:153
1429199181,12cyclictest0-21swapper/300:20:133
1429199181,11cyclictest0-21swapper/321:45:273
14291991810,6cyclictest0-21swapper/322:30:473
1426799189,6cyclictest3366-21apt-get23:20:150
1426799188,7cyclictest121ksoftirqd/021:05:130
1426799188,6cyclictest12372-21hwlatdetect20:15:190
1426799188,6cyclictest12372-21hwlatdetect20:15:190
1426799181,14cyclictest20160-21cut20:55:230
1426799181,14cyclictest15898-21kthreadcore19:10:210
1429199172,10cyclictest0-21swapper/320:40:133
1429199171,13cyclictest0-21swapper/323:25:203
1429199171,13cyclictest0-21swapper/319:10:173
1426799175,9cyclictest8706-21kthreadcore19:35:220
1426799175,9cyclictest8706-21kthreadcore19:35:220
1426799173,11cyclictest19964-21kthreadcore19:15:200
1426799171,8cyclictest27422-21latency19:20:210
14267991711,4cyclictest20302-21idleruntime-cro19:50:010
1429199162,10cyclictest0-21swapper/319:30:153
1426799164,9cyclictest7125-21latency_hist20:10:010
1426799162,11cyclictest22928-21kthreadcore20:25:240
1426799162,10cyclictest27352-21tr20:30:200
1426799161,12cyclictest13322-21apt-get20:50:120
14267991610,4cyclictest20772-21idleruntime19:50:180
1429199152,8cyclictest28366irq/58-eth021:00:123
1426799151,11cyclictest1298-21apt-get19:30:150
1426799151,10cyclictest14434-21latency_hist19:10:020
1429199142,10cyclictest0-21swapper/321:05:133
1429199132,7cyclictest0-21swapper/319:25:173
1429199131,9cyclictest0-21swapper/319:50:253
1429199131,10cyclictest0-21swapper/320:35:173
1429199122,7cyclictest0-21swapper/320:05:123
1429199121,8cyclictest0-21swapper/320:00:183
1429199121,8cyclictest0-21swapper/320:00:183
1429199111,7cyclictest0-21swapper/320:30:213
1429199111,7cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional